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书 有 很 多 ， 其 强大 而 又 灵活 的 特性 ， 使 其 成 为 很 多 
企图 通过 工具 来 实现 工作 〈( 半 ) 目 动 化 的 运营 同学 
的 首选 。 更 难得 的 是 ， 本 书 作 者 以 其 在 腾讯 游戏 运 
营 的 工作 经 验 ， 辅 以 大 量 实际 的 案例 来 讲述 了 他 是 
如 何 使 用 Python 来 解决 诸如 监控 、 安 全 、 订 制 报表 
和 大 数据 应 用 等 问题 ， 以 及 构建 一 个 目 动 化 运 维 的 
平台 来 提升 运 维 工 作 效 率 ， 值 得 一 看 。 
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《Python 目 动 化 运 维 : 技术 与 最 佳 实 践 》 是 结合 刘 
天 斯 先生 超过 十 年 ， 在 互联 网 行业 “天 涯 在 

线 ” 及 “腾讯 ”等 的 工作 经 验 ， 实 际 贴近 工作 应 用 场 
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全 书 以 系统 信息 的 了 解 、 采 集 、 监 控 ， 以 及 信息 民 
好 地 输出 为 开头 ， 以 提升 个 人 工作 效率 的 基础 运 维 
TA ARR, FORA AR Te Ee Bile. R 
统 的 方案 ， 并 且 挫 配 实际 的 例子 进行 介绍 ， 相 信和 能 
够 履 兰 该 者 的 大 部 分 应 用 场景 需求 ， 也 能 够 给 予 读 
者 相关 领域 的 入 门 指引 。 



































间 天 斯 先生 的 精神 也 是 很 值得 推广 和 赞赏 的 ， 在 繁 
忙 的 工作 之 余 ， 能 够 思考 、 总 结 ， 并 且 能 够 以 文字 
的 方式 与 更 多 的 人 分 享 和 传承 ， 是 除了 书籍 本 身 之 
外 ， 我 学 习 到 的 重要 收获 。 


腾讯 互动 娱乐 运营 部 数据 中 心 总 监 ” 孙 龙 看 


在 移动 互联 和 大 数据 时 代 ， 无 论 是 出 于 对 效率 的 退 
和 逐 ， 还 是 应 对 海量 规模 运 维 ， 自 动 化 运 维 都 是 企业 
的 必然 选择 。Python 因 为 具有 简单、 有 灵活、 功能 强 
大 和 适合 脚本 人 处理 等 优点 ， 在 运 维 领 域 被 广泛 使 

用 ， 让 很 多 运 维 工 程 师 从 烦 玉 的 日 章 工 作 中 解放 出 
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天 斯 是 运 维 领 域 的 资深 专家 ， 在 互联 网 行业 工作 多 
年 ， 不 仅 具 备 解决 各 种 运 维 难题 的 强大 能 力 ， 拥 有 
多 项 专利 ， 还 开发 过 多 个 运 维 利器 ， 非 常 受 欢迎 。 
本 书 是 国内 第 一 本 讲述 Python 如 何 应 用 在 目 动 化 运 
维 领 域 的 著作 ， 是 基于 天 斯 对 Python 自 动 化 运 维 的 
深入 研究 ， 以 及 在 海量 互联 网 实战 经 验 中 总 结 提炼 
而 来 ， 具 有 高 度 可 读 性 和 实战 价值 。 

腾讯 架构 平台 部 运 维 服务 中 心 总 监 ” 孙 雷 
刘 天 斯 和 我 相识 于 腾讯 ， 期 间 我 正在 负责 腾讯 云 平 
台 相 关 工 作 。 腾 讯 有 一 个 优 恨 的 新 员工 培养 体系 ， 
那 就 是 导师 制度 。 有 幸 作 为 天 斯 的 导师 ， 让 我 接触 
并 逐渐 深入 了 解 天 斯 。 所 以 当天 斯 找到 我 为 本 书写 
































推荐 语 时 ， 我 欣然 应 人 多， 因为 共事 期 间 天 斯 给 我 贸 
下 了 深刻 的 印象 。 时 至 今日 ， 在 中 国 的 互联 网 企业 
里 ， 我 认为 天 斯 都 是 最 优秀 的 架构 师 之 一 。 


天 斯 来 腾讯 工作 之 前 ， 在 中 国 著 名 的 天 涯 社区 负责 
整个 社区 的 运 维 工 作 ， 经 历 了 天 涯 社区 从 Windows 
平台 到 开源 架构 的 大 改造 ， 因 此 对 B/S 相关 产品 的 
技术 架构 和 细节 非常 熟悉 ， 而 天 斯 又 是 一 个 在 技术 
输出 领域 非常 活跃 的 人 ， 自 己 维护 的 技术 博客 荣获 
小 有 名 气 。 


记得 来 腾讯 不 到 两 个 星期 ， 天 斯 就 问 我 提交 了 一 份 
关于 腾讯 业务 自动 化 运 维 的 拉 术 文档 ， 从 业务 的 部 
普 到 监控 再 到 容 灾 等 ， 都 理解 得 较为 深刻 。 这 份 输 
出 文档 让 我 眼前 一 亮 ， 当 时 第 一 感觉 是 这 个 典型 的 
TEE SE SEIT. re zi P EB 
运 维 管理 有 独到 的 思维 和 沉淀 。 


Python 语言 作为 获得 2010 年 度 编 程 大 奖 的 语言 ， 有 具 
备 诸 多 优点 : 简单 、 开 源 、 速 度 快 、 可 移植 性 强 、 
可 扩展 性 强 、 面 对 对 象 、 有 具备 丰富 的 库 等 ， 更 可 贵 
的 是 ， 作 为 “胶水 语言 >， 可 以 把 Python 共 入 
C/C++ 程 序 等 ， 从 而 回程 序 用 户 提供 脚本 功能 。 


本 书 从 互联 网 业务 自动 运 维 的 场景 出 发 ， 以 Python 
语言 为 基础 ， 总 结 了 大 量 的 实战 案例 ， 这 些 都 是 作 


















































者 在 十 余年 的 大 型 互联 网 运 维 工 作 中 的 宝贵 经 验 ， 
相信 会 给 读者 市 来 不 少 的 局 发。 


更 难能可贵 的 是 ， 作 者 能 从 通俗 易 异 的 角度 出 发 ， 
由 浅 入 深 地 剖析 Python 自 动 运 维 管理 之 道 。 因 此 ， 
目前 Python 水 平 处 于 各 种 层次 的 读者 均 能 有 效 地 阅 
读 和 吸收 ， 各 取 所 需 。 


最 后 ， 感 谢 天 斯 能 给 中 国 互 联网 从 业者 市 来 这 么 好 
的 分 娃 ， 感 谢 我 们 的 老 东 家 一 一 中 国 互联 网 的 黄埔 
车 校 一 一 腾讯 培养 了 一 批 又 一 批 的 杰出 以 构 师 。 
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“Operation”， 运 维 在 互联 网 时 代 一 直 有 者 举足轻重 
的 地 位 ， 而 近 两 年 运 维 本 喘 这 个 群体 也 变 得 强大 起 
来 ， 最 为 显著 的 特征 束 是 运 维 人 员 所 出 的 书 越 来 越 
多 ， 而 都 以 * 专 "、“ 精 ?为 卖点 。 这 也 是 作为 一 名 运 
维 人 员 值得 骄 做 的 地 方 。 


伴随 独 “ 云 时 代 ”“ 物 联网 ”的 到 来 ， 无 论 数据 ， 还 
是 服务 右 规 模 都 达到 了 空前 的 庞大 ， 企 业 对 运 维 工 
作 人 员 的 要 求 也 由 之 前 的 运 维 维护 转 为 “DevOps”， 
即 研 发 型 运 维 ， 在 这 个 充满 挑 成 的 时 代 ， 任 何 一 个 
ce 而 运 维 更 不 例 




















“Python”， 运 维 的 标 配 语言 ， 比 起 Bash、Perl、PHP 
等 ， 它 在 系统 管理 上 有 痢 强 大 的 开发 能 力 和 完整 的 
CAE. DEAS, HAT RAM ER AUK, 

还 有 元 编程 能 力 都 是 它 的 优势 所 在 。 最 关键 的 地 方 
在 于 ， 可 以 利用 Python 系统 化 地 将 各 个 工具 进行 整 
合 ， 对 运 维 常用 工具 进行 二 次 开发 ， 形 成 一 套 完 整 
的 运 维 体系 。“ 一 和 套 完整 的 产品 生命 周期 ”， 这 才 是 
运 维 需要 做 的 事情 。 


运 维 “三 板 径 ”: 系统 安装 、 命 令 执 行 、 配 置 管理 ， 
再 加 上 监控 与 日 志 分 析 等 这 些 都 是 我 们 最 第 用 的 工 
具 ， 而 它们 都 有 Python 的 版 本 ， 例 如 : Fabric. 
Ansible、Saltstack、Func 等 ， 这 些 都 将 在 本 书 
《Python 目 动 化 运 维 : 技术 与 最 佳 实践 》 中 辐 大 家 
一 一 呈现 ， 安 装 、 用 法 、 技 巧 、 特 别 是 大 量 实例 一 
网 打 尽 。 为 了 证 读者 更 好 地 系统 学 习 ， 天 斯 又 写 了 
E 以 及 从 “0” 开 始 打 造 一 个 运 维 平 台 ， 可 谓 用 心 
TH o 


未 来 ， 中 小 型 企业 将 精 减 运 维 ， 不 会 开发 的 运 维 ， 
竞争 力 将 显得 更 加 单 注 ， 相 信 天 斯 多 年 运 维 开发 经 
验 的 结 品 能 帮 到 大 家 。 

西山 居 架 构 师 ，《Puppet 实 战 》 作 者 “ 刘 宇 
初 识 刘 天 斯 先生 是 邀 其 参加 我 在 ChinaUnix 举 办 的 
活动 “ 千 万 级 pv 高 性 能 高 并 发 网 站 架构 与 设计 
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续 密 、 灵 动 ， 足 见 其 在 系统 运 维 领域 的 功力 。 纵 观 
《Python 目 动 化 运 维 : 技术 与 最 佳 实 践 》 一 书 ， 都 
是 出 目 于 刘 天 斯 先生 在 天 涯 及 腾讯 工作 的 一 线 宝 吐 
经 验 ， 相 信 无 论 是 开 友 人 员 还 十 系统 管理 员 们 均 能 
从 中 学 习 到 新 的 知识 点 ， 使 目 己 的 职业 生涯 更 上 一 
个 新 的 台阶 。 











融 叶 资讯 系统 染 构 师 余 洪 春 
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大 众生 活 ， 作 为 这 一 切 背 后 的 I 开 服务 文 撑 ， 运 维 角 
色 的 作用 越 来 越 大 ， 传 统 的 人 工 运 维 方式 已 经 无 法 
满足 业务 的 发 展 需求 ， 需 要 从 流程 化 、 标 准 化 、 目 
动 化 去 构建 运 维 体 系 ， 其 中 流程 化 与 标准 化 是 目 动 
化 的 前 提 和 条件， 目 动 化 的 最 终 目 的 是 提高 工作 效 

率 、 释 放 人 力 资 源 、 节 约 运营 成 本 、 提 升 业务 服务 
质量 等 。 我 们 该 如 何 达 成 这 个 目标 呢 ? 运 维 目 动 化 
工具 的 建设 是 最 重要 的 途径 ， 有 具体 包括 监控 、 部 署 
变更 、 安 全 保障 、 故 障 处 理 、 运 营 数 据 报表 等 。 本 
书 介 绍 如 何 使 用 Python 语 言 来 实现 这 些 功 能 点 ， 以 
及 Python 在 我 们 的 目 动 化 运 维 之 路 上 发 挥 作 用 ， 解 


决 了 哪些 运 维 问题 等 。 


为 什么 是 Python? Python 是 一 种 面 回 对 象 、 解 释 型 
计算 机 程序 设计 语言 ， 由 Guido van Rossum 于 1989 
年 年 底 发 明 ， 有 具有 简单 易学 、 开 发 效率 高 、 运 行 速 
上 度 快 、 路 平台 等 特点 ， 尤 其 是 具有 大 量 第 三 方 模块 
的 文 持 ， 其 中 不 乏 优 秀 的 运 维 相关 组 件 ， 例 如 

Saltstack、Ansible、Func、Fabric 等 。 大 部 分 运 维 人 
员 为 非 专 业 开 发 人 士 ， 对 他 们 而 言 ， 选 择 一 门 上 手 
快 、 技 术 门 槛 低 的 开发 语言 非常 重要 。 由 于 Python 
































其 有 脚本 语言 的 特点 ， 学 习 资 源 多 ， 社 区 非常 活 
跃 ， 且 在 Linux 平 人 台 默 认 已 安装 等 优势 。Python 已 经 
是 当今 运 维 领域 最 流行 程 的 开发 语言 之 一 。 


2003 年 毕业 后 ， 我 的 第 一 份 工作 是 当 PHP 程 序 员 ， 

人 力 紧 张 时 还 要 兼顾 美工 的 工作 。 时 常 回想 ， 其 实 
也 只 有 在 小 公司 才能 修炼 出 “十 八 般 武 世 ”。 在 “FE 
典 * 肆 虚 的 岁月 ， 大 部 分 公司 都 闭 门 不 招聘 ， 一 个 
毕业 生 能 有 这 样 的 机 会 锻炼 也 显得 尤为 珍 贯 。 工 作 
中 一 次 偶然 的 机 会 看 到 导师 诗 成 见 在 黑 潜 漆 的 界面 
中 输入 不 同 指令 ， 第 一 感觉 非 音 震撼 ， 很 酷 ， 联 想 
到 《黑客 帝国 》 电 影 中 的 画面 ， 与 之 前 接触 到 的 

Windows 系 统 完全 不 一 样 ， 后 来 才 晓 得 是 Redhat 

9 (29) 。 此 后 很 长 的 一 段 时 间 里 ， 整 个 人 完全 
沉醉 在 Linux 的 世界 里 ， 处 于 一 种 痴迷 的 状态 ， 那 
时 我 还 是 一 个 程序 员 。 


到 了 2005 年 10 月 ， 看 到 隔壁 公司 招聘 一 名 Linux 系 
统 工程 师 ， 抱 着 试 一 试 的 心态 去 面试 ， 结 果 出 乎 意 
料 ， 我 被 录用 了 ， 这 样 我 就 找到 了 第 二 个 东家 一 一 
天 涯 社区 。 人 生 的 第 一 个 转折 点 在 此 酝酿 ， 由 于 赶 
上 了 公司 快速 发 展 的 阶段 ， 接 触 到 了 很 多 开源 技 
术 ， 包 括 LVS、Squid、Haproxy、MongoDB、 
MySQL、Cfengine 等 ， 并 且 不 断 在 生产 环境 中 应 用 
所 学 的 技术 ， 取 得 了 非常 不 错 的 效果 ， 重 点 业务 的 
高 可 用 持续 保持 在 99.99%。 期 间 新 的 问题 也 陆续 出 






































现 ， 包 括 如 何 更 好 整合 各 类 开源 组 件 ， 发 挥 其 最 大 
效能 ， 以 及 如 何 高 效 运营 。 不 可 和 否认， 具有 开发 背 
景 的 运 维 人 员 有 着 先 天 优势 ， 可 以 在 不 同 角色 之 间 
进行 思考 ， 扩 大 视野 。 期 间 我 参与 了 推动 大 量 标准 
化 、 规 范 化 的 建设 ， 以 此 为 前 提 ， 开 发 了 “SDR1.0- 
Linux 主 机 集中 管理 “天涯 LVS 管 理 系统 ”“ 天 涯 
服务 器 管理 系统 〈C/S 与 B/S$ 版 ) ” “服务 器 机 柜 模 
拟 图 平台 、“Varnish 绥 存 推送 平台 V1.0” 等 平台 ， 
这 些 平台 在 很 大 程度 上 改变 了 运 维 人 员 手 工作 坊 式 
的 工作 模式 。 在 释放 人 力 的 同时 ， 我 看 到 国内 其 他 
公司 的 同仁 也 在 做 同样 的 事情 ， 突 然 间 有 一 个 想 
法 ， 就 是 开源 。 此 时 已 经 是 2009 年 ， 这 个 想法 也 得 
到 系统 部 经 理 小 盏 认可 ， 同 年 12 月 陆续 在 
code.google.com 平 台 托 管 ， 让 业界 更 深入 了 解 天 谋 
社区 的 技术 架构 。 和 赁 着 这 些 作品 及 分 享 的 技术 文 
草 ， 我 的 博客 “ 运 维 进 行 时 ” (http://blog.liuts.com/) 
荣获 了 “2010 年 度 十 大 杰出 全 博客 ”的 殊荣 。 我 还 先 
后 参与 了 51CTO、IT168、CU 等 门户 网 站 以 架构 、 
运 维 为 主题 的 专访 ， 在 运 维 圈 得 到 越 来 越 多 同仁 的 
认同 。 

再 谈 谈 如 何 与 Python 结缘 。 接 触 Python 是 从 《简明 
Python 教程 》 开 始 ， 由 于 我 有 Perl 与 PHP 的 基础 ， 学 
习 Python 没 有 太 大 压力 。 事 实 上 ，Python 的 人 简洁、 
容易 上 手 以 及 大 量 第 三 方 模块 等 特点 ， 深 深 吸 引 了 
我 ， 让 我 第 二 次 沉醉 于 知识 的 海洋 。 我 很 快 深 入 学 

















2] f Func, Djangot£32. SQLAlchemy. 
BeautifulSoup. Pys60. wxPython, Pygame. wmi^& 
经 典 模块 ， 同 时 将 所 学 知识 应 用 到 运 维 体系 中 ， 解 
决 在 工作 中 人 碰 到 的 问题 。 例 如 ， 开 发 的 “多 节点 应 
用 延 时 监控 平台 ”解决 了 多 运营 商 网 络 环 境 下 的 业 
务 服 务 质 量 监控 问题 ， 开 发 的 “Varnish&Sgquid 绥 存 
推送 平台 ”解决 了 快速 刷新 缓存 对 象 的 问题 。 再 例 
如 ， 删 除 敏 感 帖子 的 时 效 性 要 求 非 党 高 ， 需 要 在 后 
台 触 及 删除 后 立即 生效 ， 与 缓存 推送 平台 对 接 后 很 
好 地 解决 了 这 一 问题 ;天涯 服务 器 管理 系统 
(C/S, B/S, Fah) 实现 自助 、 智 能 、 多 维度 接 
入 ， 提 高 了 运 维 效率 ， 减 少 了 人 工 误 操作 ， 释 放 了 
人 力 资 源 ， 同 时 标准 化 与 流程 化 得 到 技术 保障 与 实 
施 沙 地 。 


天 涯 社区 是 我 个 人 职业 生涯 的 培育 期 ， 让 我 重新 审 
视 目 我 ， 明 确 了 未 来 的 规划 与 定位 。2011 年 9 月 是 
我 职业 生涯 的 成 长 期 的 开始 ， 加 盟 了 腾讯 ， 负 责 静 
态 图 片 、 大 游戏 下 载 业务 CDN 的 运 维 工 作 ， 接 触 到 
庞大 的 用 户 群 、 海 量 的 资源 (设备 、 带 需 、 存 

fA) 、 世 界 级 的 平台 、 人 性 化 的 工作 氛围 以 及 大 量 
优秀 的 同事 。 所 有 的 这 些 都 深 深 地 吸引 着 我 ， 也 让 
我 的 视野 与 工作 能 力 得 到 前 所 未 有 的 提升 。 分 工 细 
化 产生 运 维 工作 模式 的 差异 ， 从 “ 单 兵 作 战 ? 转 

问 “ 集 团 盏 作战 ?”。 我 继续 保持 着 对 新 技术 的 狂热 ， 
思考 如 何 使 用 Python 在 运 维 工作 中 发 挥 作用 。 工 作 























期 间 研 究 了 大 量 高 级 组 件 ， 包 括 Paramiko、 
Fabric、Saltstack、Ansible、EFunc 和 等， 这些 组 件 有 了 
更 高 级 的 封 疾 ， 强 大 有 日 灵活 ， 贴 近 各 类 业务 场景 。 
我 个 人 也 基于 Python 开发 了 集群 目 动 化 操作 工具 
Vyorauto， 在 公司 各 大 事业 群 广泛 使 用 ， 同 时 入 
选 公司 精 品 推荐 组 件 。 我 的 部 分 个 人 发 明 专 利 使 用 
Python 作为 技术 实现 。 目 前 我 也 关注 大 数据 发 展 趋 
势 ， 研 究 Python 在 大 数据 领域 所 扮演 的 角色 。 


回 到 主题 “为 什么 要 写 这 本 书 ”， 这 一 点 可 以 从 
51CTO 对 我 的 专访 中 找到 答案 。 当 时 的 场景 是 这 样 
的 : 


51CTO: 您 对 开源 是 如 何 理解 的 ?天 涯 社区 在 过 去 
两 年 间 陆 续 开 源 了 包含 LVS 管 理 系统 、Varnish 绥 存 
推送 平台 、 高 性 能 数据 引擎 memlink 等 好 几 个 项 
目 ， 业 内 人 士 对 此 都 十 分 关注 ， 您 认为 这 给 整个 产 
业 融 来 了 哪些 好 处 ? 映 为 天 涯 社区 的 一 位 运 维 人 
员 ， 您 认为 在 这 个 过 程 中 自己 的 价值 在 哪里 ? 


NK: 开源 就 是 分 享 ， 让 更 多 人 受益 的 同时 自己 
也 在 提高 。 经 第 看 到 很 多 朋友 都 在 做 监控 平台 、 运 
维 工具 。 事 实 上 功能 怀 人 相似 ， 大 家 都 在 做 重复 的 
使 用 、 完 善 呢 。 这 样 对 整个 行业 来 讲 ， 这 块 的 投入 
成 本 都 会 降低 ， 对 个 体 来 讲 也 是 资源 的 整合 。 如 果 
形成 展 性 循环 ， 行 业 的 生态 环境 将 会 有 很 大 程度 的 



































改善 。 本 人 热衷 于 开源 扩 术 ， 同 样 也 愿意 为 开源 页 
献上 自己 一 分 微 斑 之 力 ， 和 希望 更 多 的 人 能 文 持 开源 、 
参考 开源 。 
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步 、 所 升 的 运营 人 员 提 供 指 导 。 





读者 对 象 

:系统 架构 师 、 运 维 人 员 
:运营 开发 人 员 

-Python 程序 员 


系统 管理 员 或 企业 网 管 
大专 院 校 的 计算 机 专业 学 生 
如 何 阅 读本 书 

本 书 分 为 三 大 部 分 ， 


第 一 部 分 为 基础 篇 〈 第 1~4 章 ) ， 人 介绍 Python 在 运 
维 领 域 中 的 第 用 基础 模块 ， 复 兰 了 系统 基础 信息 、 
服务 监控 、 数 据 报 表 、 系 统 安 全 等 内 容 。 


第 二 部 分 为 高 级 篇 (第 5~12 章 ) ， 痢 重 讲解 Python 








在 系统 运 维 生 命 周期 中 的 高 级 应 用 功能 ， 包 括 相 关 
目 动 化 操作 、 系 统管 理 、 配 置 管理 、 集 群 管理 及 大 
数据 应 用 等 内 容 。 


第 三 部 分 为 条例 篇 (第 13~16 章 ) ， 通 过 讲解 4 个 不 
同 功 能 运 维 平 台 案 例 ， 让 读者 了 解 平 台 的 完整 架构 
及 开发 流程 。 


说 明 : 


书 中 的 代码 以 <【 路 径 】* 方 式 引用 ， 测 试 路 径 
为 home/test/ 模 块 "”“/data/www/ 项 目 ”。 


: 书 中 涉及 的 所 有 示例 及 源码 的 Github 地 址 为 
https://github.com/yorkoliu/pyauto， 以 半 节 名 称 作 为 
目录 层次 结构 ， 模 块 及 项 目 代 码 分 别 存放 在 对 应 的 
章节 目录 中 。 


其 中 第 三 部 分 以 接近 实战 的 案例 来 讲解 ， 相 比 于 前 
两 部 分 更 独立 。 如 果 你 是 一 名 经 验 丰 旦 Linux 管 理 
员 且 具有 Python 基础 ， 可 以 直接 切入 高 级 篇 。 但 如 
果 你 是 一 名 初学 者 ， 请 一 定 从 基础 篇 开始 学 习 。 本 
书 不 涉及 Python 基础 知识 ， 推 荐 新 手 在 线 学 习 手 

册 : 《简明 Python 教程 》 与 《深入 Python: Dive 
Into Python 中 文 版 》。 
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由 于 笔者 的 水 平 有 限 ， 且 编写 时 间 仓促 ， 书 中 难免 
会 出 现 一 些 错 误 或 者 不 准确 的 地 方 ， 尽 请 读者 批评 
指正 。 为 此 ， 特 意 创 建 一 个 在 线 文 持 与 应 急 方案 问 
答 站 点 : http://ga.liuts.com。 你 可 以 将 书 中 的 错误 发 
布 到 “错误 反馈 ”分 类 中 ， 同 时 如 果 你 过 到 任何 问题 
或 有 任何 建议 ， 也 可 以 在 问答 站 点 中 发 表 ， 我 将 尽 
量 在 线 上 提供 最 满意 的 解答 。 我 也 会 将 及 时 更 新 相 
应 的 功能 更 新 。 如 果 你 有 更 多 的 宝 贯 章 见 ， 欢 迎 友 
送 邮 件 至 邮箱 liutiansi@Dgmailcom， 期 待 能 够 得 到 
你 们 的 真 垫 反馈。 
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第 一 部 分 “基础 坑 
系统 基础 信息 模块 详解 
业务 服务 监控 详解 
定制 业务 质量 报表 详解 
Python 与 系统 安全 


第 1 章 ” 系 统 基础 信息 模块 详解 


系统 基础 信息 采集 模块 作为 监控 模块 的 重要 组 成 部 
分 ， 能 够 帮助 运 维 人 员 了 解 当 前 系统 的 健康 程度 ， 
同时 也 是 衡量 业务 的 服务 质量 的 依据 ， 比 如 系统 资 
源 吃紧 ， 会 直接 影响 业务 的 服务 质量 及 用 户 体 验 ， 
另外 获取 设备 的 流量 信息 ， 也 可 以 让 运 维 人 员 更 好 
地 评 佑 带宽、 设备 资源 是 否 应 该 扩容 。 本 和 章 通 过 运 
用 Python 第 三 方 系统 基础 模块 ， 可 以 轻松 获取 服务 
关键 运营 指标 数据 ， 包 括 Linux 基 本 性 能 、 块 设 
备 、 网 卡 接口 、 系 统 信息 、 网 络 地 址 库 等 信息 。 在 
采集 到 这 些 数据 后 ， 我 们 就 可 以 全 方位 了 解 系统 服 
务 的 状态 ， 再 结合 告警 机 制 ， 可 以 在 第 一 时 间 啊 
应 ， 将 异常 出 现在 苗头 时 就 得 以 处 理 。 

本 章 通过 具体 的 示例 来 帮助 谈 者 学 习 、 理 解 并 掌 
握 。 在 本 章 接 下 来 的 内 容 当中 ， 我 们 的 示例 将 在 一 
个 连续 的 Python 交互 环境 中 进行 。 

进入 Python 终端 ， 执 行 python 命 令 进 入 交互 式 的 
Python 环境 ， 像 这 样 : 
































# python 
Python 2.6.6 (r266: 84292, Nov 22 2013, 12: 16: 22) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-4) ] on linux2 


Type "help", "copyright", "credits" or "license" for more 


information. 


>>> 


1.1 系统 性 能 信息 模块 psutil 


psutil 是 一 个 路 平台 库 
(http://code.google.com/p/psutil/) ， 能 够 轻松 实现 
获取 系统 运行 的 进程 和 系统 利用 率 〈 包 括 CPU、 内 
fe. Wath, WIZE) 信息 。 它 主要 应 用 于 系统 监 
FS, 分析 和 限制 系统 资源 及 进程 的 管理 。 它 实现 了 
同等 命令 行 工具 提供 的 功能 ， 如 ps、top、1sof、 
netstat. ifconfig. who, df. kill. free. nice, 
ionice, iostat. iotop. uptime. pidof. tty, 
taskset、pmap 等 。 目 前 文 持 32 位 和 64 位 的 Linux、 
Windows. OS X, FreeBSD Sun Solaris 等 操作 系 
统 ， 支 持 从 2.4 到 3.4 的 Python 版 本 ， 目 前 最 新 版 本 
为 2.0.0。 通 币 我 们 获取 操作 系统 信息 往往 采用 编写 
shell 来 实现 ， 如 获取 当前 物理 内 存 总 大 小 及 已 使 用 
大 小 ，shell 命 令 如 下 : 

















物理 内 存 total 值 : free -m | grep Mem | awk '{print $2}' 




















物理 内 存 used 值 : free -m | grep Mem | awk '{print $3}' 








相 比 较 而 言 ， 使 用 psutil 库 实现 则 更 加 简单 明了 。 
psutil 大 小 单位 一 般 都 采用 字 和 有 有 ， 如 下 : 











>>> import psutil 


>>>mem = psutil.virtual memory () 


>>>mem. total, mem.used 


(506277888L, 500367360L) 
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wget 

https: //pypi.python.org/packages/source/p/psutil/psutil- 
2.0.0.tar.gz --no-check-certificate 

# tar -xzvf psutil-2.0.0.tar.gz 

# cd psutil-2.0.0 


# python setup.py install 





1.1.1 获取 系统 性 能 信息 


采集 系统 的 基本 性 能 信息 包括 CPU、 内 存 、 倒 盘 、 
网 络 等 ， 可 以 完整 擅 述 当前 系统 的 运行 状态 及 质 
量 。psutil 模 块 已 经 封装 了 这 些 方法 ， 用 户 可 以 根据 
自身 的 应 用 场景 ， 调 用 相应 的 方法 来 满足 需求 ， 非 
和 简单 实用 。 

(1) CPU 信息 

Linux 操 作 系 统 的 CPU 利用 率 有 以 下 几 个 部 分 : 
‘User Time， 执 行 用 户 进程 的 时 间 百 分 比 ; 


‘System Time， 执 行内 核 进程 和 中 断 的 时 间 百 分 
比 ; 














"Wait IO, HH FIO rfi fECPUAXP T idle CEN) TK 
态 的 时 间 百 分 比 ; 


:Idle，CPU 处 于 idle 状 态 的 时 间 百 分 比 。 


我 们 使 用 Python 的 psutil.cpu_times〈) 方法 可 以 非 
第 简单 地 得 到 这 些 信息 ， 同 时 也 可 以 获取 CPU 的 便 
件 相 关 信 息 ， 比 如 CPU 的 物理 个 数 与 逻辑 个 数 ， 
体 见 下 面 的 操作 例子 : 





>>> import psutil 














Olly 

ch 
a 
x8 
En 


>>>psutil. Que times © # 使 用 cpu_times 方 法 获取 CPU 完整 信息 ， 
所 有 逻辑 CPU 信 息 


>>># 指 定 方法 变量 percpu=True 即 可 ， 如 
psutil.cpu times (percpu=True) 
































scputimes (user-38.039999999999999, nice=0.01, 
system=110.88, idle=177062.59, iowait-53.399999999999999, 
irq-2.9100000000000001. softirgq=79.579999999999998, 
steal-0.0, guest=0.0) 


>>>psutil.cpu_times () .user # 获 取 单 项 数据 信息 ， 如 用 户 user 的 
CPU 时 间 比 






































38 .0 

>>>psutil.cpu_count () # 获 取 CPU 的 逻辑 个 数 ， 默 认 logical=True4 
>>>psutil.cpu_count (logical-False) # 获 取 CPU 的 物理 个 数 

2 

>>> 


(2) 内 存 信 a 


Linux 系 统 的 内 存 利用 率 信 息 涉 及 total《〈 内 存 总 
ZO . used (OMA IA 2D . free CEPR ALIE 
RO ~ buffers (RIME HZZO ~ cache (FAEH 
ZO . swap 《交换 分 区 使 用 数 ) 等 ， 分 别 使 用 
psutil.virtual memory () 5jpsutil.swap memory () 


方法 获取 这 些 信 息 ， 有 具体 见 下 面 的 操作 例子 : 





>>> import psutil 


>>>mem = psutil.virtual memory O # 使 用 
psutil.virtual_memory 方 法 获取 内 存 完整 信息 





>>>mem 


svmem (total=506277888L, available=204951552L, 
percent=59.5, used=499867648L, free=6410240L, 
active=245858304, inactive=163733504, buffers=117035008L, 
cached=81506304 ) 


>>>mem. total # 获 取 内 存 总 数 


506277888L 

>>>mem. free # 获 取 空 闲 内 存 数 

6410240L 

»»»psutil.swap. memory () # 获 取 SWAP 分 区 信息 





sswap (total=1073733632L, Used=0L， free=1073733632L, 
percent=0.0, sin=0, sout=0) 


>>> 





(3) tila An /DA 


在 系统 的 所 有 磁盘 信息 中 ， 我 们 更 加 关注 磁盘 的 利 
用 率 及 IO 信息 ， 其 中 矶 盘 利 用 率 使 用 


psutil.disk usage7; iX3XBX. WARIO ALTE 
read count CEXIOZX) ~ write count 〈 写 IO 数 ) 
read bytes (IO 读 字 节 数 ) ~ write bytes G05 F 
4X) ~ read time (磁盘 读 时 间 ) ~ write_time (W 
ASIA) 等 。 这 些 IO 信 息 可 以 使 用 
psutil.disk io counters © 获取 ， 且 体 见 下 面 的 操 
作 例 子 : 








>>>psutil.disk_partitions () # 使 用 psutil.disk_partitions 方 
法 获取 磁盘 完整 信息 








[sdiskpart (device='/dev/sda1', mountpoint='/', 
fstype-'ext4', opts='rw') , sdiskpart (device='/dev/sda3', 
mountpoint='/data', fstype='ext4', opts='rw') ] 


>>> 





>>>psutil.disk_usage ('/')  # 使 用 psutil.disk_usage 方 法 获取 分 区 
(参数 ) 的 使 用 情况 


sdiskusage (total=15481577472, Used=4008087552， 
free=10687057920, percent=25.899999999999999) 





>>> 


>>>psutil.disk_io_counters () #(# 4 psutil.disk_io_counters 


获取 硬盘 总 的 10 个 数 、 


# 读 写 信 息 





sdiskio (read count=9424, write count=35824， 
read bytes-128006144, write bytes-204312576, 
read time-72266, write time-182485) 


>>> 


>>>psutil.disk_io_counters (perdisk-True)  £"perdisk-True"2 


数 获 取 单 个 分 区 I0 个 数 、 


# 读 写 信息 





('sda2': sdiskio (read count-322, write_count=0, 
read bytes-1445888, write bytes-0, read time-445, 


write time-0), 'sda3': sdiskio (read count-618, 
write count-3, read bytes-2855936, write bytes-12288, 
read time-871, write time-155) , 'sdai': 


sdiskio (read count-z8484, write count-35821, 
read bytes-123704320, write bytes-204300288, 
read time-70950, write time-182330) } 





(4) 网络 信息 JO 


系统 的 网 络 信息 与 磁盘 IO 类 似 ， 涉 及 几 个 关键 点 ， 
包括 bytes_sent (发 送 字 节 数 ) 

bytes recv-28220119 (接收 字 节 数 ) 
packets_sent=200978 (AX Xs mx 

packets recv-212672 〈 接 收 数 据 包 数 ) 等 。 这 些 网 
络 信息 使 用 psutil.net io counters O 方法 获取 ， 具 
体 见 下 面 的 操作 例子 : 








>>>psutil.net_io_counters () #(# Hpsutil.net_io_countersik 


取 网 络 总 的 IO 信息 ， 默 








# 认 pernic=False 


snetio (bytes sent=27098178, bytes_recv=28220119， 
packets_sent=200978, packets_recv=212672, errin=0， 
errout=0, dropin=0, dropout=0) 


>>>psutil.net_io_counters (pernic-True)  #pernic=True 输 出 每 个 
网 络 接口 的 I0 信 息 {'1o': snetio (bytes_sent=26406824， 

bytes recv-26406824, packets_sent=198526, 

packets recv-198526, errin=0， errout=0, dropin=0， 
dropout=0) ， "eth0': snetio (bytes sent-694750, 

bytes recv-1816743, packets_sent=2478, packets recv-14175, 
errin=0, errout=0, dropin=0, dropout=0) ) 








>>> 





(5) 其 他 系统 信息 


除了 前 面 介 绍 的 几 个 获取 系统 基本 信息 的 方法 ， 
psutil 模 块 还 支持 获取 用 户 登 录 、 开 机 时 间 等 信息 ， 
具体 见 下 面 的 操作 例子 : 

















>>>psutil.users () # 使 用 psutil.users 方 法 返回 当前 登录 系统 的 用 户 


Huw 


[suser (name='root', terminal='pts/0', 

host='192.168.1.103', started=1394638720.0) ， 

suser (name='root', terminal='pts/1', host='192.168.1.103', 
started=1394723840.0) ] 


>>> import psutil, datetime 





>>>psutil.boot_time () # 使 用 psutil.boot_time 方 法 获取 开机 时 
间 ， 以 Linux 时 间 惟 格式 返回 


1389563460.0 


>>>datetime.datetime.fromtimestamp (psutil.boot time ©) ) .strft: 
96m-96d 96H: 96M: 96S") 


'2014-01-12 22: 51: 00' # 转 换 成 自然 时 间 格 式 





1.1.2 系统 进程 管理 方法 


获得 当前 系统 的 进程 信息 ， 可 以 让 运 维 人 员 得 知 应 
用 程序 的 运行 状态 ， 包 括 进 程 的 启动 时 则 、 查 看 或 
设置 CPU 杀 和 上 度 、 内 存 使 用 率 、IO 信 息 、socket 连 
接 、 线 程 数 等 ， 这 些 信 息 可 以 呈现 出 指 EU 
存活 、 资 源 利 用 情况 ， 为 开发 人 员 的 代码 优化 、] 
题 定 位 提供 很 好 的 数据 参考 。 








( 1 ) 进程 信息 JO 


psutil 模 块 在 获取 进程 信息 方面 也 提供 了 很 好 的 文 
持 ， 包 括 使 用 psutil.pids O 方法 获取 所 有 进程 
PID， 使 用 psutil.Process oes ae 


称 、 路 径 、 


>>> import psutil 
>>>psutil.pids () 


[1:25:85 44. 255 


状态 、 系 统 资 
下 面 的 操作 例子 : 





E, 





# 列 出 所 有 进程 PID 


7, 8, 9, 10, 11, 12, 13, 14, 





15, 16, 17, 18, 

>>> p = psutil.Process (2424)  # 实 例 化 一 个 Process 对 象 ， 参 数 为 一 
进程 PID 

>>> p.name O  # 进 程 名 

'java' 

>>> p.exe O  # 进 程 bDin 路 径 


'/usr/java/jdk1.6.0 45/bin/java' 


>>>p.cwd (©) 


# 进 程 工 作 目 录 绝 对 路 径 





'/usr/1local/hadoop-1.2.1' 


>>>p.status () 
'sleeping' 

>>>p.create_time () 
1394852592 .6900001 
>>>p.uids () 


puids (real=0, 


effective=0, 


# 进 程 状态 





# 进 程 创建 时 间 ， 时 间 惟 格式 


# 进 程 uid 信 息 


saved=0) 


>>>p.gids O # 进 程 gid 信 息 
pgids (real=0, effective=0, saved=0) 


>>>p.cpu_times () # 进 程 CPPU 时 间 人 信息， 包括 user、system 两 个 CPU 时 
间 





pcputimes (user=9.0500000000000007, system=20.25) 





>>>p.cpu_affinity © #get 进 程 CPPU 亲 和 度 ， 如 要 设置 进程 CPU 杀 和 
度 ， 将 CPU 号 作为 参数 即 可 
[0, 1] 


>>>p.memory_percent () # 进 程 内 存 利用 率 


14.147714861289776 





>>>p.memory_info () # 进 程 内 存 rss、vms 信 息 


pmem (rss=71626752, vms=1575665664) 





>>>p.io_counters O # 进 程 I0 信 息 ， 包 括 读 写 I0 数 及 字 节 数 


pio (read_count=41133, write_count=16811， 
read_bytes=37023744, write bytes-4722688) 


>>>p.connections O # 返 回 打开 进程 socket 的 namedutples 列 表 ， 包 
括 fS、familLy、1addr 
# 等 信息 


[pconn (fd=65, family=10, type=1, laddr=(': : ffff: 
192.168.1.20', 9000), raddr=(), ... ] 


»»»p.num threads © # 进 程 开启 的 线程 数 


33 





(2) popen 类 的 使 用 
psutil 提 供 的 popen 类 的 作用 是 获取 用 户 局 动 的 应 用 








程序 进程 信息 ， 以 便 跟踪 程序 进程 的 运行 状态 。 具 
体 实 现 方法 如 下 : 





>>> import psutil 


>>>from subprocess import PIPE 











# 通 过 psutil 的 Popen 方 法 启动 的 应 用 程序 ， 可 以 跟踪 该 程序 运行 的 所 有 相关 信息 


>>> p = psutil.Popen (["/usr/bin/python", "-c", 
"print ('hello') "], stdout=PIPE) 


>>>p.name () 
'python' 
>>>p.username () 
‘root! 
>>>p.communicate () 
C'hello\n', None) 


— 4- 


>>>p.cpu_times () # 得 到 进程 运行 的 CPU 时 间 ， 更 多 方法 见 上 一 小 节 





pcputimes (user=0.01, system=0.040000000000000001 ) 











参考 提示 
1.1.1 节 示例 参考 
https://github.com/giampaolo/psutil 。 


1.1.1 市 模块 说 明 参 考官 网 
http://psutil.readthedocs.org/en/latest/。 





1.2 ”实用 的 卫 地 址 处 理 模 块 IPy 


IP 地 址 规划 是 网 络 设计 中 非常 重要 的 一 个 环节 ， 规 
划 的 好 坏 会 直接 影 啊 路 由 协议 算法 的 效率 ， 包 括 网 
络 性 能 、 可 扩展 性 等 方面 ， 在 这 个 过 程 当 中 ， 免 不 
了 要 计算 大 量 的 了 PP 地址， 包括 网 段 、 网 络 掩 码 、 广 
播 地 址 、 子 网 数 、 卫 类 型 等 。Python 提 供 了 一 个 强 
大 的 第 三 方 模块 

IPy Chttps://github.com/haypo/python-ipy/) ， 最 新 
版 本 为 V0.81。IPy 模 块 可 以 很 好 地 辅助 我 们 高 效 完 
成 IP 的 规划 工作 ， 下 面 进行 详细 介绍 。 


以 下 是 IPy 模 块 的 安装 ， 这 里 采用 源码 的 安装 方 


A 





# wget https: //pypi.python.org/packages/source/I/IPy/IPy- 
0.81.tar.gz --no-check-certificate 


# tar -zxvf IPy-0.81.tar.gz 
# cd IPy-0.81 


# python setup.py install 


1.2.1 ”IP 地 址 、 网 段 的 基本 处 理 


IPy 模 块 包含 IP 类 ， 使 用 它 可 以 方便 处 理 绝 大 部 分 格 
式 为 IPv6 及 IPv4 的 网 络 和 地 址 。 比 如 通过 version 方 
法 就 可 以 区 分 出 IPv4 与 I[Pv6， 如 : 


LE | 


>>>IP ('10.0.0.0/8') .version () 
4 #4 代表 IPv4 类 型 
>>>IP (': : 1') .version () 


6 #6 代表 IPv6 类 型 





通过 指定 的 网 段 输出 该 网 段 的 了 P 个 数 及 所 有 了 地 址 
清单 ， 代 码 如 下 : 





from IPy import IP 
ip = IP ('192.168.0.0/16') 
print ip.len O # 输 出 192.168 .0.0/16 网 段 的 IP 个 数 


for x in ip: # 输 出 192 .168 .0.0/16 网 段 的 所 有 IP 清 单 





print (x) 





执行 结果 如 下 : 


65536 

192.168.0.0 
192.168.0.1 
192.168.0.2 
192.168.0.3 
192.168.0.4 
192.168.0.5 


192.168.0.6 


192.168.0.7 


192.168.0.8 





FI 2r 8IPZSJ LA LT, LF IR) fT A 
称 、IP 类 型 、 了 转换 等 。 





>>>from IPy import IP 
>>>ip = IP ('192.168.1.20') 


>>>ip.reverseNames () # 有 反 辣 解析 地 址 格式 





['20.1.168.192.in-addr.arpa.'] 


>>>ip.iptype O #192.168 .1,20 为 私 网 类 型 ' PRIVATE' 
>>> IP ('8.8.8.8') .iptype O #8.8.8.8 为 公 网 类 型 
' PUBLIC' 

>>> IP ("8.8.8.8") .int © # 转 换 成 整 型 格式 
134744072 


>>> IP ('8.8.8.8') .strHex © # 转 换 成 十 六 进 制 格式 


' 0x8080808' 





>>> IP ('8.8.8.8') .strBin © # 转 换 成 二 进 制 格式 





'00001000000010000000100000001000 ' 


>>> print (IP (0x8080808) ) # 十 六 进 制 转 成 ITP 格 式 





8.8.8.8 





IP 方 法 也 文 持 网 络 地 址 的 转换 ， 例 如 根据 IP 与 掩 码 


生产 网 段 格 式 ， 如 下 : 





>>>from IPy import IP 
>>>print (IP ('192.168.1.0') .make net ('255.255.255.0') ) 
192.168.1.0/24 


>>>print CIP ('192.168.1.0/255.255.255.0', 
make_net=True) ) 


192.168.1.0/24 
>>>print CIP ('192.168.1.0-192.168.1.255', make net-True) ) 


192.168.1.0/24 





也 可 以 通过 strNormal 方 法 指定 不 同 wantprefixlen 参 
数值 以 定制 不 同 输出 类 型 的 网 段 。 输 出 类 型 为 字符 
"B, ü b: 





>>>IP ('192.168.1.0/24') .strNormal (0) 
'192.168.1.0' 

>>>IP ('192.168.1.0/24') .strNormal (1) 
'192.168.1.0/24' 

>>>IP ('192.168.1.0/24') .strNormal (2) 
'192.168.1.0/255.255.255.0' 

>>>IP ('192.168.1.0/24') .strNormal (3) 


'192.168.1.0-192.168.1.255' 





wantprefixlen 的 取 值 及 含义 : 


-wantprefixlen=0， 无 返回 ， 如 192.168.1.0; 
-wantprefixlen=1，prefix 格 式 ， 如 192.168.1.0/24:; 


-wantprefixlen=2，decimalnetmask 格 式 ， 如 
192.168.1.0/255.255.255.0; 


.wantprefixlen=3，]lastIP 格 式 ， 如 192.168.1.0- 
192.168.1.255, 


12.2 ”多 网 络 计 算 方法 详解 


有 时 候 我 们 想 比 较 两 个 网 段 是 否 存 在 包含 、 重 登 等 
关系， 比如 同 网 络 但 不 同 prefixlen 会 认为 是 不 相等 
的 网 段 ， 如 10.0.0.0/16 不 等 于 10.0.0.0/24， 男 外 即使 
具有 相同 的 prefixlen 但 处 于 不 同 的 网 络 地 址 ， 同 样 
也 视 为 不 相等 ， 如 10.0.0.0/16 不 等 于 192.0.0.0/16。 
IPy 支 持 类 似 于 数值 型 数据 的 比较 ， 以 帮助 IP 对 象 进 
行 比较 ， 如 : 














>>>IP ('10.0.0.0/24') < IP ('12.0.0.0/24') 


True 








FIP HED Boe oe FS BHP, ü 
F: 





>>> '192.168.1.100' in IP ('192.168.1.0/24') 


True 
>>>IP ('192.168.1.0/24') in IP ('192.168.0.0/16') 


True 














判断 两 个 网 段 是 否 存 在 重 登 ， 采 用 IPy 提 供 的 
overlaps 方 法 ， 如 : 





>>>IP ('192.168.0.0/23') .overlaps ('192.168.1.0/24') 


1 mik B RETE RUR 





>>>IP ('192.168.1.0/24') .overlaps ('192.168.2.0') 


0 5k BIO CREE 











示例 “根据 输入 的 卫 或 子 网 返回 网 络 、 掩 码 、 广 
播 、 有 反问 解析 、 子 网 数 、IP 类 型 等 信息 。 





#! /usr/bin/env python 
from IPy import IP 


ip s = raw input ('Please input an IP or net-range: ') # 
接收 用 户 输入 ， 参 数 为 ITP 地 址 或 网 段 地 址 


ips = IP (ip s) 


if len (ips) » 1: # 为 一 个 网 络 地 址 

print ('net: %s' % ips.net () ) # 输 出 网 络 地 址 

print ('netmask: %s' % ips.netmask () ) # 输 出 网 络 描 码 地 
址 

print ('broadcast: %s' % ips.broadcast O ) # 输 出 网 络 广 


播 地 址 





print ('reverse address: %s' % ips.reverseNames () 


[0] # 输 出 地 址 反 向 解析 


print ('subnet: %s' % len (ips) ) # 输 出 网 络 子 网 数 





else: # 为 单个 IP 地 址 


print ('reverse address: %s' % ips.reverseNames () 


[0] # 输 出 IP 反 向 解析 











print ('hexadecimal: %s' % ips.strHex O ) # 输 出 十 六 进 制 地 址 
print ('binary ip: %s' % ips.strBin () ) # 输 出 二 进 制 地 址 
print ('iptype: %s' % ips.iptype () ) # 输 出 地 址 类 型 ， 如 


PRIVATE, PUBLIC, LOOPBACK% 





分 别 输 入 网 段 、IP 地 址 的 运行 返回 结果 如 下 : 





# python simplei.py 

Please input an IP or net-range: 192.168.1.0/24 
net: 192.168.1.0 

netmask: 255.255.255.0 

broadcast: 192.168.1.255 

reverse address: 1.168.192.in-addr.arpa. 
subnet: 256 

hexadecimal:  0xc0a80100 

binaryip: 11000000101010000000000100000000 
iptype: PRIVATE 

# python simplei.py 


Please input an IP or net-range: 192.168.1.20 


reverse address: 20.1.168.192.in-addr.arpa. 
hexadecimal:  0xc0a80114 
binaryip: 11000000101010000000000100010100 


iptype: PRIVATE 


_ TS | 


参考 所 示 


1.2.1 广 官网 文档 与 示例 参考 
https://github.com/haypo/python-ipy/。 


3.2.2 8 2 012225 
http://blog.philippklaus.de/2012/12/ip-address- 
analysis-using-python/#il 
http://www.sourcecodebrowser.com/ipy/0.62/class_i_ p 
等 文章 的 IPy 类 说 明 。 








1.3 DNS 处 理 模块 dnspython 


dnspython Chttp://www.dnspython.org/) 是 Python 实 
现 的 一 个 DNS 工具 包 ， 它 文 持 几乎 所 有 的 记录 类 
型 ， 可 以 用 于 得 询 、 传 输 并 动态 更 新 ZONE 信息 ， 
同时 支持 TSIG (事务 签名 ) 验证 消 轧 和 

EDNS0 (扩展 DNS) 。 在 系统 管理 方面 ， 我 们 可 以 
利用 其 查询 功能 来 实现 DNS 服务 监控 以 及 解析 结果 
的 校 验 ， 可 以 代替 nslookup 及 dig 等 工具 ， 轻 松 做 到 
与 现 有 平台 的 整合 ， 下 面 进行 详细 介绍 。 


首先 介绍 dnspython 模 块 的 安装 ， 这 里 采用 源码 的 安 
装 方 式 ， 最 新 版 本 为 1.9.4， 如 下 : 





# http: //www.dnspython.org/kits/1.9.4/dnspython-1.9.4.tar.gz 
# tar -zxvf dnspython-1.9.4.tar.gz 
# cd dnspython-1.9.4 


# python setup.py install 


1.3.1 模块 域名 解析 方法 详解 


dnspython 模 块 提供 了 大 量 的 DNS 处 理 方法 ， 最 党 用 
的 方法 是 域名 查询 。dnspython 提 供 了 一 个 DNS 解 析 
Bee resolver， 使 用 它 的 query 方 法 来 实现 域名 
的 查询 功能 。query 方 法 的 定义 如 下 : 

















query (self, qname, rdtype=1， rdclass-1. tcp=False, 
source=None, raise on no answer-True, source port-0) 





其 中 ，qdname 人 参数 为 得 询 的 域名 。rdtype 人 参数 用 来 指 
定 RR 资 源 的 闫 型 ， 背 用 的 有 以 下 几 种 : 


:A 记录 ， 将 主机 名 转换 成 IP 地 址 ; 
-MX 记录 ， 邮 件 交 换 记 录 ， 定 义 邮 件 服务 器 的 域 
Z; 


:CNAME 记 录 ， 指 别名 记录 ， 实 现 域名 间 的 映射 ; 
NS 记录 ， 标 记 区 域 的 域名 服务 右 及 授权 子 域 ; 


-PTR 记录 ， 友 回 解 机 ， 与 A 记 录 相 反 ， 将 卫 转 换 成 
ELS: 


.SOA 记 录 ，SOA 标 记 ， 一 个 起 始 授 权 区 的 定义 。 


rdclass 参 数 用 于 指定 网 络 类 型 ， 可 选 的 值 有 IN、CH 
与 HS， 其 中 IN 为 默认 ， 使 用 最 广泛 。tcp 参 数 用 于 
指定 查询 是 否 局 用 TCP 协 议 ， 默 认为 False (不 启 
FA) 。source 与 source_port 参 数 作 为 指定 查询 源 地 
址 与 端口 ， 默 认 值 为 查询 设备 IP 地 址 和 0。 

raise on no answer ZH] T 18 E 24 AWC Ze 
(fl En. BRU ATrue. 


1.8.2. i UGTA AN Bl i HH 











常见 的 DNS 解析 类 型 包括 A、MX、NS、CNAME 

等 。 利 用 dnspython 的 dns.resolver.query 方 法 可 以 简 
单 实现 这 些 DNS 类 型 的 查询 ， 为 后 面 要 实现 的 功能 
提供 数据 来 源 ， 比 如 对 一 个 使 用 DNS 轮 循 业务 的 域 
名 进行 可 用 性 监控 ， 需 要 得 到 当前 的 解析 结 末 。 下 
面 一 一 进行 介绍 。 


(1) A 记录 
实现 A 记录 查询 方法 源码 。 
[/home/test/dnspython/simple1.py ] 











#! /usr/bin/env python 
import dns.resolver 


domain = raw input ('Please input an domain: ') # 输 入 域名 
地 址 


E) # 指 定 查 询 类 型 为 A 记 录 





A = dns.resolver.query (domain, 








"A 
for i in A.response.answer: # 通 过 response.answer 方 法 获取 查 
询 回 应 信息 


for j in i.items: Hil EIE E 





print j.address 











运行 代码 查看 结果 ， 这 里 以 www.google.com 域 名 为 
例 : 





# python simplei.py 


Please input an domain: www.google.com 
173.194.127.180 
173.194.127.178 
173.194.127.176 
173.194.127.179 


173.194.127.177 





(2) MX 记录 
实现 MX 记录 碍 询 方法 源码 。 
[/home/test/dnspython/simple2.py ] 








#! /usr/bin/env python 
import dns.resolver 


domain = raw input ('Please input an domain: ') 





MX = dns.resolver.query (domain, 'MX') # 指 定 查 询 类 型 为 MX 记 








for i in MX: # 裔 历 回应 结果 ， 输 出 MX 记录 的 preference 及 exchanger 
> 自 


El (^ 


print 'MX preference =', i.preference, 'mail exchanger 
=', i.exchange 














运行 代码 查看 结果 ， 这 里 以 163.com 域 名 为 例 : 





# python simple2.py 


Please input an domain: 163.com 


MX preference = 10 mail exchanger = 
163mx03.mxmail.netease.com. 


MX preference = 50 mail exchanger = 
163mx00.mxmail.netease.com. 


MX preference = 10 mail exchanger = 
163mx01.mxmail.netease.com. 


MX preference = 10 mail exchanger = 
163mx02.mxmail.netease.com. 





(3) NS 记录 
实现 NS 记录 查询 方法 源码 。 


[/home/test/dnspython/simple3.py ] 








#! /usr/bin/env python 


import dns.resolver 





domain = raw_input ('Please input an domain: ') 
ns = dns.resolver.query (domain, 'NS') # 指 定 查 询 类 型 为 NS 记 
录 


for i in ns.response.answer: 
for j in i.items: 


print j.to text () 





只 限 输入 一 级 域名 ， 如 baidu.com。 如 果 输 入 二 级 或 
多 级 域名 ， 如 www.baidu.com， 则 是 错误 的 。 





# python simple3.py 

Please input an domain: baidu.com 
ns4.baidu.com. 

dns.baidu.com. 

ns2.baidu.com. 

ns7.baidu.com. 


ns3.baidu.com. 





(4) CNAME 记 录 
实现 CNAME 记 录 查 询 方 法 源码。 





[/home/test/dnspython/simple4.py ] 





#! /usr/bin/env python 


import dns.resolver 





# 指 定 查询 类 型 为 


domain = raw input ('Please input an domain: ') 

Cname = dns.resolver.query (domain, 'CNAME') 

CNAME 记 录 

for i in cname.response.answer: # 结 果 将 回应 cname 后 的 目标 域名 


for j in i.items: 


print j.to text () 





结果 将 返回 cname 后 的 目标 域名 。 
1.83.0 实践: DNS 域名 轮 循 业务 监控 


大 部 分 的 DNS 解析 都 是 一 个 域名 对 应 一 个 卫 地 址 ， 

但 是 通过 DNS 轮 循 技术 可 以 做 到 一 个 域名 对 应 多 个 
IP， 从 而 实现 最 简单 且 高 效 的 负载 平衡 ， 不 过 此 方 
案 最 大 的 浆 端 是 目标 主机 不 可 用 时 无 法 被 自动 易 

除 ， 因 此 做 好 业务 主机 的 服务 可 用 监控 至 关 重 要 。 
本 示例 通过 分 析 当 前 域名 的 解析 卫 ， 再 结合 服务 端 
口 探测 来 实现 自动 监控 ， 在 域名 解析 中 添加 、 删 除 
e a a 
1-1 所 示 。 





pp 
^ 


| ——dnspython——» ( www. abc com ) 









(an a d 
í ll , Shas "d 
Sr — wm 


监控 主机 
\ 
\ 
192. 168. 1. 10 


192. 168. 1. 11 
192. 168. 1. 12 





192. 168. 1. 12 


图 1-1 DNS 多 域名 业务 服务 监控 架构 图 
1. 步 又 


D 实现 域名 的 解析 ， 获 取 域 名 所 有 的 A 记录 解析 IP 
AJ 


2) 对 IP 列 表 进 行 HTTP 级 别 的 探测 。 
2. 代 码 解析 


本 示例 第 一 步 通过 dns.resolver.query〈) 方法 获取 
业务 域名 A 记 录 人 信息， 查询 出 所 有 了 IP 地 址 列表 ， 再 
使 用 httplib 模 块 的 request ©) 方法 以 GET 方 式 请 求 
Hees A, PEMA AA ARS NIP FE RA IE H 


[/home/test/dnspython/simple5.py ] 








#! /usr/bin/python 
import dns.resolver 
import os 


import httplib 





iplist-[] # 定 义 域名 IP 列 表 变 量 





appdomain="www.google.com.hk" # 定 义 业务 域名 
def get iplist (domain="") : # 域 名 解析 函数 ， 解 析 成 功 IP 将 被 追加 
到 iplist 

try: 


A = dns.resolver.query (domain, 'A') # 解 析 A 记 录 类 


except Exception, e: 


print "dns resolver error: "+Str (e) 


return 
for i in A.response.answer: 


for j in i.items: 


iplist.append (j.address) # 奶 加 到 ip1List 


return True 
checkip (ip) : 
checkurl=ipt": 80" 
getcontentz"" 


httplib.socket.setdefaulttimeout (5) 
(5 秒 ) 


conn=httplib.HTTPConnection (checkurl) 


try: 


# 定 义 http 连 接 超时 











# 创 建 http 连 接 对 





conn.request ("GET", "/", headers = {"Host": 
appdomain])  ”# 发 起 URL 请 求 ， 添 





# 加 host 主 机 头 


r-conn.getresponse () 





getcontent -r.read (15) # 获 取 URL 页 面前 15 个 字符 ， 以 便 做 
可 用 性 校 验 


finally: 


if getcontent=="<! doctype html>": 
有 先 定义 好 的 ， 比 如 


lin] 








Z"HTTP200" 4& 


print ip-" [OK]" 








else: 
print ip+" [Error]" # 此 处 可 放 告 警 程 序 ， 可 以 是 邮 
件 、 短 信和 通知 
if name --" main 
if get iplist (appdomain) and len (iplist) >0: # 条 件 : 








域名 解析 正确 且 至 少 返 回 一 个 IP 
for ip in iplist: 
checkip (ip) 
else: 


print "dns resolver error." 





我 们 可 以 将 此 脚本 放 到 crontab 中 定时 运行 ， 再 结合 
告警 程序 ， 这 样 一 个 基于 域名 轮 循 的 业务 监控 已 完 
成 。 运 行程 序 ， 显 示 结 果 如 下 : 











# python simple5.py 
74.125.31.94 [OK] 
74.125.128.199 [OK] 


173.194.72.94 [OK] 





从 结果 可 以 看 出 ， 域 名 www.google.com.hk 解 析出 3 
个 IP 地 址 ， 并 且 服 务 都 是 正常 的 。 


第 2 革 ”业务 服务 监控 详解 


业务 服务 监控 是 运 维 体系 中 最 重要 的 环节 ， 是 保证 
业务 服务 质量 的 关键 手段 。 如 何 更 有 效 地 实现 业务 
服务 ， 是 每 个 运 维 人 员 应 该 思考 的 问题 ， 不 同业 务 
场景 需 定 制 不 同 的 监控 策略 。Python 在 监控 方面 提 
供 了 大 量 的 第 三 方 工具 ， 可 以 帮助 我 们 快速 、 有 效 
地 开发 企业 级 服务 监控 平台 ， 为 我 们 的 业务 保 概 护 
航 。 本 章 涉及 文件 与 目录 差异 对 比方 法 、HTTP 质 
量 监控 、 邮 件 告警 等 内 容 。 











2.1 文件 内 容 关 元 对 比方 法 


本 节 介 绍 如 何 通 过 difflib 模 块 实现 文件 内 容 差 异 对 
比 。difflib 作 为 Python 的 标准 库 模 块 ， 无 需 安 状 ， 
作用 是 对 比 文本 之 间 的 差异 ， 且 支持 输出 可 读 性 比 
较 强 的 HTML 文 档 ， 与 Linux 下 的 dif 命 令 相 似 。 我 
们 可 以 使 用 difflib 对 比 代 码 、 配 置 文件 的 差别 ， 在 
版 本 控制 方面 是 非常 有 用 。Python 2.3 或 更 高 版 本 
默认 上 自 带 difflib 模 块 ， 无 需 额 外 安装 ， 我 们 先 通过 
一 个 简单 的 示例 进行 了 解 。 


2.1.1 示例 1: 两 个 字符 串 的 差异 对 比 


本 示例 通过 使 用 difflib 模 块 实现 两 个 字符 串 的 差异 
对 比 ， 然 后 以 版 本 控制 风格 进行 输出 。 


【/home/test/difflib/simplel.py】 











#! /usr/bin/python 
import difflib 


texti = """texti: # 定 义 字 符 串 1 





This module provides classes and functions for comparing 
sequences. 


including HTML and context and unified diffs. 
difflib document v7.4 


add string 








text1 lines = texti.splitlines © # 以 行进 行 分 隔 ， 以 便 进 行 对 比 








text2 = """text2: # 定 义 字符 串 2 


This module provides classes and functions for Comparing 
sequences. 


including HTML and context and unified diffs. 
difflib document v7.5""" 


text2 lines - text2.splitlines () 





d = difflib.Differ © # 创 建 Differ O WR 


diff = d.compare (text1 lines, text2 lines) # 采用 compare 
方法 对 字符 串 进行 比较 








print '\n'.join (list (diff) ) 





本 示例 采用 Differ ©) 次 对 两 个 字符 串 进 行 比较 ， 
另外 difflib 的 SequenceMatcher (0 类 支持 任意 类 型 
序列 的 比较 ，HtmlDiff O 类 支持 将 比较 结果 输出 
为 HTML 格 式 ， 示 例 运 行 结果 如 图 2-1 所 示 。 


[rooteSN2013-08-020 difflib]# python simplel.py 
- texti: 
? 


- This module provides classes and functions for comparing sequences. 
A 


This module provides classes and functions for Comparing sequences. 


^ 


including HTML and context and unified diffs. 
- difflib document v7.4 


^ 


difflib document v7.5 


A 


add string 





图 2-1 示例 运行 结果 
为 方便 大 家 理解 震 异 关系 符号 ， 表 2-1 对 各 符号 侣 
义 进 行 说 明 。 

表 2-1 符号 含义 说 明 


符号 含义 

et 包含 在 第 一 个 序列 行 中 。 但 不 包含 在 第 二 个 序列 行 

T 包含 在 第 二 个 序列 行 中 .但 不 包含 在 第 一 个 序列 行 
两 个 序列 行 一 臻 

"Y bai T Hemp rg (rere ES A 


bid Ps T T (EGO) S ET 








采用 HtmlDiff ©) 


ax 


类 的 make_file © 方法 就 可 以 生 


成 美观 的 HTML 文档 ， 对 示例 1 中 代码 按 以 下 进行 
修改 : 





d = difflib.Differ () 
diff = d.compare (text1 lines, text2 lines) 
print '\n'.join (list (diff) ) 
(a | 
蔡 换 成 : 


es | 


d = difflib.HtmlDiff © 


print d.make file (text1 lines, text2 lines) 





将 新 文件 命名 为 simple2.py， 运 行 # python 
simple2.py>diff.html, AEH wl azet] Fr diff.html 5c 
件 ， 结 果 如 图 示 2-2 所 示 ，HTML 文 档 包 括 了 行 号 、 
甜 民 标志、 图例 等 信息 ， 可 读 性 增强 了 许多 。 


RE 
n3 sequences. his msdule provides classes and fuactioss for Dosmparisg sequences 
quee 一 context and unified diff 
including NTML asd ext and unified diffs 
Ndirflis document v7.5 | 


图 2-2 ÆN pas PFT JFdiff.html oc fF 
2.1.3 示例 2: 对 比 Nginx 配 置 文件 差异 


当 我 们 维护 多 个 Nginx 配 置 时 ， 时 常会 对 比 不 同 版 
本 配置 文件 的 兰 异 ， 使 运 维 人 员 更 加 清晰 地 了 解 不 

















同 版 本 迭代 后 的 更 新 项 ， 实 现 的 思路 是 读 取 两 个 需 
对 比 的 配置 文件 ， 再 以 换行 符 作 为 分 隔 符 ， 调 用 
difflib.HtmlDiff © 生成 HTML 格 式 的 差异 文档 。 
实现 代码 如 下 : 


【/home/test/difflib/simple3.py】 








#! /usr/bin/python 
import difflib 
import sys 


try: 








textfilei-sys.argv[1] # 第 一 个 配置 文件 路 径 参 数 

















textfile2-sys.argv[2] # 第 二 个 配置 文件 路 径 参 数 
except Exception, e: 

print "Error: "+Str (e) 

print "Usage: simple3.py filename1 filename2" 

sys.exit () 
def readfile (filename) : # 文 件 读 取 分 隔 函 数 

try: 

fileHandle = open (filename, 'rb' ) 


text=fileHandle.read () .splitlines O # 读 取 后 以 行进 
行 分 隔 


fileHandle.close () 
return text 


except IOError as error: 


print ('Read file Error: '+str (error) ) 
sys.exit () 
if textfilei--"" or textfile2=="": 
print "Usage: simple3.py filenamei filename2" 
sys.exit () 


text1 lines = readfile (textfile1) iiHreadfilermZXb HH) 
隔 后 的 字符 串 


text2 lines = readfile (textfile2) 





d = difflib.HtmlDiff © # 创 建 Htm1LDiff O ATR 


print d.make file (text1 lines, text2 lines) # 通 过 
make_file 方 法 输出 HTML 格 式 的 比 对 结果 








运行 如 下 代码 : 





# python simple3.py nginx.conf.vi nginx.conf.v2 > diff.html 





从 图 2-3 中 可 以 看 出 nginx.conf.v1 与 nginx.conf.v2 配 
置 文件 存在 的 差异 。 














参考 提示 2.1 市 示例 参考 官网 文档 
http://docs.python.org/2/library/difflib.html . 
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22 ”文件 与 目录 差异 对 比方 法 


当 我 们 进行 代码 审计 或 校 验 备 份 结果 时 ， 往 往 需要 
检 簿 原始 与 目标 目录 的 文件 一 致 性 ，Python 的 标准 
库 已 经 自 带 了 满足 此 需求 的 模块 flecmp。filecmp 可 
以 实现 文件 、 目 录 、 遇 历 子 目录 的 差异 对 比 功 能 。 
比如 报告 中 输出 目标 目录 比 原始 多 出 的 文件 或 子 目 
录 ， 即 使 文件 同名 也 会 判断 是 否 为 同一 个 文件 (内 
容 级 对 比 ) 等 ，Python 2.3 或 更 高 版 本 默认 自 带 
filecmp 模 块 ， 无 需 额 外 安装 ， 下 面 进行 详细 介绍 。 


2.2.1 REV HZ EUH 
filecmp 提 供 了 三 个 操作 方法 ， 分 别 为 cnp 〈 单 文件 


对 比 ) 、cmpfiles《〈 多 文件 对 比 ) 、dircmp 《目录 对 
比 ) ， 下 面 逐 一 进行 介绍 : 


. 单 文件 对 比 ， 采 用 flecmp.cmp (f1, f2[, 
shallow]) 方 法， 比较 文件 名 为 fl1 和 f2 的 文件 ， 相 同 
返回 True， 不 相同 返回 False，shallow 默 认为 True， 
意思 是 只 根据 os.stat() 方法 返回 的 文件 基本 信息 
进行 对 比 ， 比 如 最 后 访问 时 间 、 人 和 修改 时 间 、 状 态 改 
变 时 间 等 ， 会 忽略 文件 内 容 的 对 比 。 当 shallow 为 
False 时 ， 则 os.stat ©) 与 文件 内 容 同时 进行 校 验 。 


示例 :比较 单 文件 的 兰 异 。 

















>>> 
filecmp.cmp ("/home/test/filecmp/f1", "/home/test/filecmp/f3") 


True 


>>> 
filecmp.cmp ("/home/test/filecmp/f1", "/home/test/filecmp/f2") 


False 





.多 文件 对 比 ， 采 用 flecmp.cmpfiles (dir1, dir2, 
common[，shallow]) 方法 ， 对 比 dir1 与 dir2 目 录 给 
定 的 文件 清单 。 访 方法 返回 文件 名 的 三 个 列表 ， 分 
别 为 死 配 、 不 匹配 、 错 误 。 死 配 为 包含 匹配 的 文件 
的 列表 ， 不 匹配 反之 ， 错 误 列 表 包 括 了 目录 不 存在 
0 eile 
文件 清单 。 


示例 : dirl 与 dir2 目 录 中 指定 文件 清单 对 比 。 


两 目录 下 文件 的 md5 信 息 如 下 ， 其 中 f1、f2 文 件 匹 
配 ; BALE; 全 、 生 对 应 目录 中 不 存在 ， 无 法 比 


TB 














[rootQSN2013-08-020 dir2]# md5sum * 
d9dfci98c249bb4ac341198a752b9458 f1 
aa9aa0cacOffc655ce9232e720bfib9f f2 
33d2119b71f717ef4b981e9364530a39 f3 
d9dfci198c249bb4ac341198a752b9458 f5 


[rootQSN2013-08-020 diri]£ md5sum * 


d9dfc198c249bb4ac341198a752b9458 f1 


aa9aaO0cacOffc655ce9232e720bfib9f f2 


d9dfci98c249bb4ac341198a752b9458 f3 


410d6a485bcf5d2d2d223f2ada9b9c52 f4 





使 用 cmpfiles 对 比 的 结果 如 下 ， 符 合 我 们 的 预期 。 





>>>filecmp.cmpfiles ("/home/test/filecmp/diri", "/home/test/file 
['f1', 'f2', 'f3', 'f4', 'f5']) 


(q('fa', 'f2'], ['fs'] ['fa', 'f5']) 





` 目 孙 对 比 ， 通 过 dircmp (a, b[, ignore[, hide]]) 
类 创建 一 个 目录 比较 对 象 ， 其 中 a 和 b 是 参加 比较 的 
目录 名 。ignore 代 表 文 件 名 忽略 的 列表 ， 并 默认 为 
l'RCS', 'CVS', 'tags']; hide 代 表 隐 藏 的 列表 ， 默 认 
为 [os.curdir，os.pardir]。dircemp 类 可 以 获得 目录 比 
较 的 详细 信息 ， 如 只 有 在 a 目录 中 包括 的 文件 、a 与 
EIE 风 配 的 文件 等， 同时 支持 递 
IH. 


dircemp 提 供 了 三 个 输出 报告 的 方法 : 
‘report () ， 比 较 当 前 指定 目录 中 的 内 容 ; 


report partial closure © ， 比 较 当 前 指定 目录 及 第 
一 级 子 目 录 中 的 内 容 ; 























report full closure O ， 递 归 比 较 所 有 指定 目录 的 
内 容 。 


为 输出 更 加 详细 的 比较 结果 ，dircemp 类 还 提供 了 以 
下 属性 : 


-left， 左 目录 ， 如 类 定义 中 的 a; 

Tight， 右 目录 ， 如 类 定义 中 的 b; 
“left_list， 左 目录 中 的 文件 及 目录 列表 ; 
right_list， 右 目录 中 的 文件 及 目录 列表 ; 
common， 两 边 目录 共同 存在 的 文件 或 目录 ; 
left_only， 只 在 左 目录 中 的 文件 或 目录 ; 
right_only， 只 在 右 目录 中 的 文件 或 目录 ; 
-common_dirs， 两 边 目录 都 存在 的 子 目 录 ; 
common files， 两边 目录 都 存在 的 子 文件 ; 


common _funny， 两 边 目 录 都 存在 的 子 目 录 AA 
目录 类 型 或 os.stat O 记录 的 错误 ) ; 


Same_files， 匹 配 相 同 的 文件 ; 
diff files， 不 匹配 的 文件 ; 















































“funny_files， 两 边 目录 中 都 存在 ， 但 无 法 比较 的 文 
件 ; 


“subdirs， 将 common_dirs 目 录 名 映射 到 新 的 dircmp 
对 象 ， 格 式 为 字典 类 型 。 


示例 对比 dir1 与 dir2 的 目录 差异 。 


通过 调用 dircmp ©) 方法 实现 目录 差异 对 比 功 能 ， 
同时 输出 目录 对 比 对 象 所 有 属性 信息 。 


【/home/test/filecmp/simplel.py} 








import filecmp 


a="/home/test/filecmp/diri" # 定 义 左 目录 
b="/home/test/filecmp/dir2" # 定 义 右 目录 
dirobj=filecmp.dircmp (a. b, ['test.py']) # 目 录 比 较 ， 忽 略 
test ,py 文件 




















# 输 出 对 比 结果 数据 报表 ， 详 细 说 明 请 参考 filecmp 类 方法 及 属性 信息 
dirobj.report () 

dirobj.report partial closure () 
dirobj.report full closure () 

print "left list: "+ str (dirobj.left list) 

print "right list: "+ str (dirobj.right list) 

print "common: "+ str (dirobj.common) 

print "left only: "+ str (dirobj.left only) 


print "right only: "+ str (dirobj.right only) 


print "common dirs: "+ str (dirobj.common dirs) 
print "common files: "+ str (dirobj.common files) 
print "common funny: "+ str (dirobj.common funny) 
print "same file: "+ str (dirobj.same files) 
print "diff files: "+ str (dirobj.diff files) 


print "funny files: "+ str (dirobj.funny files) 








为 方便 理解 ， 通 过 tree 命 令 输 出 两 个 日 录 的 树 结 
构 ， 如 图 2-4 所 示 。 


dir1 dir2 
a a 
= a1 x at 
b b 
b1 b1 
E b2 b2 
b3 b3 
f1 aa 
f2 L— aa1 
f3 f1 
f4 f2 
test.py f3 
f5 
test.py 





图 2-4 ”通过 tree 命 令 输出 的 两 个 目录 
运行 前 面 的 代码 并 输出 ， 结 果 如 下 ; 





# python simplei.py 


diff /home/test/filecmp/diri /home/test/filecmp/dir2 
Only in /home/test/filecmp/diri1 : ['f4'] 

Only in /home/test/filecmp/dir2 : ['aa', 'f5'] 
Identical files: ['f1', 'f2'] 

Differing files : ['f3'] 


Common subdirectories : ['a'] 


diff /home/test/filecmp/diri /home/test/filecmp/dir2 
Only in /home/test/filecmp/diri1 : ['f4'] 

Only in /home/test/filecmp/dir2 : ['aa', 'f5'] 
Identical files: ['f1', 'f2'] 

Differing files : ['f3'] 

Common subdirectories : ['a'] 

diff /home/test/filecmp/diri/a /home/test/filecmp/dir2/a 
Identical files : ['a1'] 


Common subdirectories : ['b'] 


diff /home/test/filecmp/diri /home/test/filecmp/dir2 
Only in /home/test/filecmp/diri1 : ['f4'] 

Only in /home/test/filecmp/dir2 : ['aa', 'f5'] 
Identical files: ['f1', 'f2'] 

Differing files : ['f3'] 


Common subdirectories : ['a'] 


diff /home/test/filecmp/diri/a /home/test/filecmp/dir2/a 
Identical files : ['a1'] 
Common subdirectories : ['b'] 


diff /home/test/filecmp/diri/a/b /home/test/filecmp/dir2/a/b 


Identical files : ['b1', 'b2', 'b3'] 

left list: ['a', 'f1', 'f2', 'f3', 'f4'] 

right list: ['a', ‘aa', 'fi', 'f2', 'f3', 'f5'] 
common: ['a', 'f1', 'f2', 'f3'] 


left only: ['f4'] 

right only: ['aa', 'f5'] 

common dirs: ['a'] 

common files: ['f1', 'f2', 'f3'] 
common funny: [] 

same file: ['fi'. 'f2'] 

diff files: ['f3'] 


funny files: [] 





2.2.2 实践， 校 验 源 与 备份 目录 差异 


有 时 候 我 们 无 法 确认 备份 目录 与 源 目 录 文 件 是 否 保 
持 一 致 ， 包 括 源 目录 中 的 新 文件 或 目录 、 更 新 文件 
或 目录 有 无 成 功 同步 ， 定 期 进行 校 验 ， 没 有 成 功 则 
硕 望 有 针对 性 地 进行 补 备份 。 本 示例 使 用 了 flecmp 
模块 的 left_only、diff_files 方 法 递归 获取 源 目录 的 更 
新 项 ， 再 通过 shutil.copyfile、os.makedirs 方 法 对 更 














新 项 进行 复制 ， 最 终 保持 一 致 状态 。 详 细 源 码 如 
"es 


[/home'/test/filecmp/simple2.py ] 





#! /usr/bin/env python 

import os, sys 

import filecmp 

import re 

import shutil 

holderlist=[ ] 

def compareme (dir1， dir2) : # 递 归 获 取 更 新 项 函数 


dircomp-filecmp.dircmp (diri, dir2) 





only in one-dircomp.left only # 源 目录 新 文件 或 目录 


diff in one-dircomp.diff files # 不 匹配 文件 ， 源 目录 文件 已 发 
生变 化 


dirpath=os.path.abspath (dir1) # 定 义 源 目录 绝对 路 径 
# 将 更 新 文件 名 或 目录 追加 到 holderlist 








[holderlist.append (os.path.abspath (os.path.join (diri, 
X22) for x in only in one] 


[holderlist.append (os.path.abspath (os.path.join (diri, 
x22) for x in diff in one] 





if len (dircomp.common dirs) > 0: # 判 断 是 否 存在 相同 子 目 
录 ， 以 便 递 归 





for item in dircomp.common dirs: # 递 归 子 目录 


compareme Cos.path.abspath (os.path. join (dir1, 
item) ), \ 


os.path.abspath (os.path.join (dir2, item) ) ) 
return holderlist 


def main O): 





if len (sys.argv) > 2: # 要 求 输入 源 目录 与 备份 目录 
diri-sys.argv[1] 
dir2-sys.argv[2] 
else: 
print "Usage: ", sys.argv[0]. "datadir backupdir" 
sys.exit () 
source files-compareme (diri, dir2) # 对 比 源 目录 与 备份 目录 
diri=os.path.abspath (dir1) 


if not dir2.endswith ('/') : dir2=dir2+'/' # 备 份 目录 路 
径 加 “/" 符 


dir2-os.path.abspath (dir2) 
destination files-[] 


createdir bool-False 





for item in source files: # 遍 历 返 回 的 差异 文件 或 目录 清单 


destination dir=re,sub (diri, dir2, item) # 将 源 目 


录 差 异 路 径 清 单 对 应 蔡 换 成 


# 备 份 目录 
destination files.append (destination dir?) 
if os.path.isdir (item) : # 如 果 差 异 路 径 为 目录 且 不 存 








在 ， 则 在 备份 目录 中 创建 
if not os.path.exists (destination dir): 


os.makedirs (destination dir? 


createdir bool-True # 再 次 调用 compareme 函 数 标 











w 
if createdir_bool: # 重 新 调用 compareme 函 数 ， 重 新 遍历 新 创建 
目录 的 内 容 
destination files-[] 
source files-[] 
source files-compareme (diri, dir2) # 调 用 compareme 
for item in source files: # 获 取 源 目录 差异 路 径 清单 ， 对 
应 蔡 换 成 备份 目录 


destination dir-re.sub (diri, dir2, item) 
destination files.append (destination dir?) 
print "update item: " 
print source files # 输 出 更 新 项 列表 清单 


copy pair-zip (source files. destination files) # 将 源 
目录 与 备份 目录 文件 清单 拆 分 成 元 组 





for item in copy pair: 





if os.path.isfile (item[0]) : # 判 断 是 否 为 文件 ， 是 则 进 
行 复 制 操作 
shutil.copyfile (item[0], item[1]) 
if _name__ == ' main ': 
main () 








更 新 源 目 录 dirl1 中 的 人、code/f3 文 件 后 ， 运 行程 序 
结果 如 下 : 





# python simple2.py /home/test/filecmp/dir1 
/home/test/filecmp/dir2 


update item: 


['/home/test/filecmp/diri/f4', 
'/home/test/filecmp/diri/code/f3' | 


# python simple2.py /home/test/filecmp/dirt 
/home/test/filecmp/dir2 


update item: 








[] # 再 次 运行 时 已 经 没有 更 新 项 了 











参考 提示 


"2.2.1 市 模块 方法 说 明 参 考 
http://docs.python.org/2/library/filecmp.html. 





2.2.2 B RWS "S http://linuxfreelancer.com/how-do- 


you-compare-two-folders-and-copy-the-difference-to- 
a-third-folder. 


23 ”发 送 电 子 邮件 模块 smtplib 


电子 邮件 是 最 流行 的 互联 网 应 用 之 一 。 在 系统 管理 
领域 ， 我 们 第 向 使 用 邮件 来 上 友 送 告警 信息 、 业 务 质 
量 报表 等 ， 方 便 运 维 人 员 第 一 时 间 了 解 业 务 的 服务 
状态 。 本 节 通 过 Python 的 smtplib 模 块 来 实现 邮件 的 
发 送 功能 ， 模 拟 一 个 smtp 客 户 端 ， 通 过 与 smtp 服务 
器 交互 来 实现 邮件 发 送 的 功能 ， 这 可 以 理解 成 
Foxmail 的 友 邮 件 功能 ， 在 第 一 次 使 用 之 前 我 们 需 
要 配置 smtp 主 机 地 址 、 邮 箱 账 号 及 密码 等 信息 ， 
Python 2.3 或 更 局 版 本 默认 目 市 smtplib 模 块 ， 无 需 
额外 安装 。 下 面 详 细 进 行 介绍 。 


2.3.1 smtplib 模 块 的 常用 类 与 方法 


SMTP 类 定义 : smtplib.SMTP ([host[, port[, 
local_hostname[, timeout]]]]) ， 作 为 SMTP 的 构造 
函数 ， 功 能 是 与 Smtp 服 务 器 建立 连接 ， 在 连接 成 功 
后 ， 束 可 以 同 服 务 器 发 送 相 关 请 求 ， 比 如 登录 、 校 
验 、 发 送 、 退 出 等 。host 参 数 为 远程 smtp 主 机 地 
址 ， 比 如 smtp.163.com; port 为 连接 端口 ， 默 认为 
25; local_hostname 的 作用 是 在 本 地 主机 的 

FQDN 完整 的 域名 ) AXSHELO/EHLO 标识 用 
Piatt) 指令 ，timeout 为 连接 或 尝试 在 多 少 秒 超 
时 。SMTP 类 具有 如 下 方法 : 




















‘SMTP.connect ([host[, port]]) 方法， 连接 远程 
smtp 主 机 方法 ，host 为 远程 主机 地 址 ，port 为 远程 主 
机 smtp 端 口 ， 默 认 25， 也 可 以 直接 使 用 host: port 形 
式 来 表示 ， 例 如 : 

SMTP.connect (“smtp.163.com”, “25”) , 


'SMTP.login (user, password) 方法 ， 远 程 smtp 主 
机 的 校 验方 法 ， 参 数 为 用 户 名 与 密码 ， 如 
SMTP.login (“python_2014@163.com”, “sdjkg358”. 








:SMTP.sendmail (from, addr, to_addrs, msg[; 

mail options, rcpt options]) 方法 ， 实 现 邮 件 的 发 
送 功能 ， 参 数 依次 为 是 发 件 人 、 收 件 人 人、 邮件 内 
7E, Du: 

SMTP.sendmail (“python_2014@163.com”, “demo@ 
body) ， 其 中 body 内 容 定义 如 下 : 





"""From: python 20140163.com 
To: demoQdomail.com 
Subject: test mail 


test mail body""" 





:SMTP.starttls C[keyfile[, certfile] 方法 ， 启 用 
TLS 安全 传输 ) 模式 ， 所 有 SMTP 指 令 部 将 加 密 
传输 ， 例 如 使 用 gmail 的 smtp 服 务 时 需要 启动 此 项 才 
能 正常 友 送 邮件 ， 如 SMTP.starttls () 。 


:SMTP.quit ©) 方法 ， 断 开 Ssmtp 服 务 器 的 连接 。 


下 面 通 过 一 个 简单 示例 帮助 大 家 理解 ， 目 的 是 使 用 
gmail 问 QQ 邮箱 发 送 测试 邮件 ， 代 人 码 如 下 : 








#! /usr/bin/python 
import smtplib 


import string 











HOST - "smtp.gmail.com" # 定 义 smtp 主 机 

SUBJECT = "Test email from Python" # 定 义 邮 件 主题 
TO = "testmail@qq.com" # 和 定义 邮件 收 件 人 

FROM = "mymail@gmail.com" # 定 义 邮 件 发 件 人 

text = "Python rules them all! " # 邮 件 内 容 





BODY = = string. join (€ # 组 装 sendmail 方 法 的 邮件 主体 内 容 ， 各 上 段 
以 "\r\n" 进 行 分 隔 


"From: %s" % FROM, 
"To: 96s" 96 TO, 


"Subject: %S" % SUBJECT , 


wee 
, 











text 

) ， MNP NID 
server = smtplib.SMTP () # 创 建 一 个 SMTP O XI 
server.connect (HOST, "25") # 通 过 connect 方 法 连接 smtp 主 机 
server.starttls () # 启 动 安全 传输 模式 


server.login ("mymail@gmail.com", "mypassword" ) # 邮 箱 账 号 登 


录 校 验 


server.sendmail (FROM, [TO]. BODY) # 邮 件 发 送 





server.quit () # 断 开 smtp 连 接 


我 们 将 收 到 一 封 这 样 的 邮件 ， 如 图 2-5 所 示 。 


Test email from Python 


Python rules them all! 


图 2-5” 收 到 的 邮件 
2.3.2 ”定制 个 性 化 的 邮件 格式 方法 


通过 邮件 传输 简单 的 文本 已 经 无 法 满足 我 们 的 需 
求 ， 比 如 我 们 时 常会 定制 业务 质量 报表 ， 在 邮件 主 
体 中 会 包含 HIML、 图 像 、 声 音 以 及 附件 格式 等 ， 
MIME (Multipurpose Internet Mail Extensions， 多 用 
途 互 联网 邮件 扩展 ) 作为 一 种 新 的 扩展 邮件 格式 很 
好 地 补充 了 这 一 点 ， 更 多 MIME 知 识 见 
http:/zh.wikipedia.org/wikiMIME 。 下 面 介 绍 几 个 
Python 中 常用 的 MIME 实 现 类 : 





:email.mime.multipart. MIMEMultipart ([_subtype[, 
boundary[, _subparts[, _params]]]]) ， 作 用 是 生成 
包含 多 个 部 分 的 邮件 体 的 MIME 对 象 ， 参 数 
 subtypedR E NJN £" Content-type: 





multipart/subtype"15 K AY AY 326 B] =F KA, 2) il 
Aymixed. related. alternative, SAiAíH7Jjmixed. 5E 
义 mixed 实 现 构 建 一 个 这 附件 的 邮件 体 ， 定 义 related 
实现 构建 内 骸 资 源 的 邮件 体 ， 定 义 alternative 则 实现 
构建 纯 文本 与 超 文 本 共存 的 邮件 体 。 


-email.mime.audio.MIMEAudio (_audiodata[, 
_subtype[, _encoder[, ** params]]D , JEEE 
音频 数据 的 邮件 体 ，_audiodata 包 含 原 始 二 进 制 音 
频数 据 的 字 市 字符 串 。 


:email.mime.image.MIMEImage (_imagedata[, 
_subtype[,  encoder[, ** params]]D ， 创 建 包含 
图 片 数 据 的 邮件 体 ，_imagedata 是 包含 原始 图 片 数 
所 的 字 节 字符 串 。 


:email.mime.text.MIMEText (_text[, _subtype[, 
 charset] ， 创 建 包含 文本 数据 的 邮件 体 ，_text 有 是 
包含 消息 负载 的 字符 串 ，_subtype 指 定 文 本 类 型 ， 
文 持 plain (SAUME) 或 html 类 型 的 字符 串 。 


2.3.3 定制 第 用 邮件 格式 示例 详解 


前 面 两 小 节 介 绍 了 Python 的 smtplib 及 email 模 块 的 第 
用 方法 ， 那 么 两 者 在 邮件 定制 到 发 送 过 程 中 是 如 何 
分 工 的 ? 我 们 可 以 将 email.mime 理 解 成 smtplib 模 块 
邮件 内 容 主 体 的 扩展 ， 从 原先 默认 只 文 持 纯 文本 格 
式 扩展 到 HIML， 同 时 文 持 附件 、 音 频 、 图 像 等 格 

















式 ，smtplib 只 负责 邮件 的 投递 即 可 。 下 面 介绍 在 日 
第 运营 工作 中 邮件 应 用 的 几 个 示例 。 


示例 1 : 实现 HTML 格 式 的 数据 报表 邮件 。 


纯 文 本 的 邮件 内 容 已 经 不 能 满足 我 们 多 样 化 的 需 
求 ， 本 示例 通过 引入 emailmime 的 MIMEText 类 来 
实现 文 持 HIML 格 式 的 邮件 ， 文 持 所 有 HTML 元 
素 ， 包 含 表 格 、 图 片 、 动 画 、CSS 样 式 、 表 单 等 。 
本 示例 使 用 HTML 的 表格 定制 美观 的 业务 流量 报 
表 ， 实 现代 人 码 如 下 : 


[/home/test/smtplib/simple2.py ] 








#coding: utf-8 
import smtplib 


from email.mime.text import MIMEText #5 AMIMEText 3 


HOST = "smtp.gmail.com" # 定 义 Smtp 主 机 
SUBJECT = u" 官 网 流量 数据 报表 " # 定 义 邮件 主题 





TO = "testmail@qq.com" # 定 义 邮件 收 件 人 


FROM = "mymailQgmail.com" # 定 义 邮 件 发 件 人 





msg = MIMEText (""" # 创 建 一 个 MIMEText 对 象 ， 分 别 指定 HTML 内 容 、 类 
型 (文本 或 htm1) 、 字 


# 符 编码 


«table width="800" border="0" cellspacing="0" 
cellpadding="4"> 


<tr> 


«td bgcolor="#CECFAD" height="20"duokan-code-cn">: 
14px">* 官 网 数据 «a href="monitor.domain.com"># 4>></a></td> 


</tr> 
<tr> 


<td bgcolor="#EFEBDE" height="100"duokan-code-cn">: 
13px"> 





1) 日 访问 量 : «font color=red>152433</font> 访问 次 数 : 
23651 页 面 浏 览 量 : 45123 点 击 数 : 545122 数据 流量 : 504Mb<br> 








2) 状态 码 信 息 <br> 
&nbsp; &nbsp; 500: 105 404: 3264 503: 214<br> 


3) 访客 浏览 器 信息 <br> 





&nbsp; &nbsp; IE: 50% firefox: 10% chrome: 3096 
other: 10%<br> 


4) 页 面 信息 <br> 

&nbsp; &nbsp; /index.php 42153<br> 

&nbsp; &nbsp; /view.php 21451<br> 

&nbsp; &nbsp; /login.php 5112<br> 

</td> 

</tr> 
</table>""", "html", "utf-8") 

msg['Subject'] = SUBJECT # 邮 件 主 题 
msg[ 'From' ]-FROM # 邮 件 发 件 人 ， 邮 件 头 部 可 见 
msg['To']-TO # 邮 件 收 件 人 ， 邮 件 头 部 可 见 


try: 





server = smtplib.SMTP () # 创 建 一 个 SMTP O 对 象 








server.connect (HOST, "25") # 通 过 connect 方 法 连接 smtp 主 机 


server.starttls () # 启 动 安全 传输 模式 


server.login ("mymail@gmail.com", "mypassword") # 邮 箱 
账号 登录 校 验 

server.sendmail (FROM, TO, msg.as_string © ) THU T 

server.quit () #WT FF smt pete 





print "邮件 发 送 成 功 ! " 
except Exception, e: 


print "AM: "+str Ce) 





代码 运行 结果 如 图 2-6 所 示 ， 我 们 将 业务 日 志 分 析 
结果 定期 推送 给 管理 员 ， 以 方便 省 理 员 了 解 业 务 的 
服务 情况 。 


宫 网 流量 数据 损 表 


"BUE BS >> 
1) OWAE. 152433 访问 次 款 ,23051 MP BE 45123 REg .545122 MBAR Sos Mb 
2) (GERE 
500:105 404:3264 503:214 
3) VMS es 
1E:50% firefox: 10% chrome: 30% other: 10% 
5) 页面 信息 
[index.php 42153 
/view.php 21451 
/login.php 5112 





图 2-6 ”示例 1 运行 结果 
示例 2 : 实现 图 文 格式 的 服务 器 性 能 报表 邮件 。 
示例 1 通过 MIMEText 类 来 实现 HTML 格 式 的 邮件 ， 








当 要 求 包含 图 片 数据 的 邮件 内 容 时 ， 需 要 引用 
MIMEImage 类 ， 知 邮件 主体 由 多 个 MIME 对 象 组 
成 ， 则 同时 需 引 用 MIMEMultipart 类 来 进行 组 装 。 
本 示例 通过 MIMEText 与 MIMEImage 类 的 组 合 来 实 
mom" 服务 器 性 能 报表 邮件 的 定制 ， 实 现代 
但 如 下 : 


[/home'/test/smtplib/simple3.py ] 





#coding: utf-8 
import smtplib 


from email.mime.multipart import MIMEMultipart # 导 入 
MIMEMultipart 类 


from email.mime.text import MIMEText # 导 入 MIMEText 类 
from email.mime.image import MIMEImage # 导 入 MIMEImage 类 
HOST = "smtp.gmail.com" # 定 义 smtp 主 机 


SUBJECT = u" 业 务 性 能 数据 报表 " # 定 义 邮 件 主 题 








TO = "testmail@qq.com" # 定 义 邮件 收 件 人 














FROM = "mymail@gmail.com" # 定 义 邮件 发 件 人 
def addimg (src, imgid) : TASSE EG 2X1: ARE, SA 
2: 图 片 id 





fp = open (src, 'rb') # 打 开 文 件 





msgImage = MIMEImage (fp.read () ) # 创 建 MIMEImage 对 象 ， 
读 取 图 片 内 容 并 作为 参数 


fp.close O # 关 闭 文件 








msglImage.add header ('Content-ID', imgid) # 指 定 图 片 文 
件 的 Content -ID，<img> 





# 标 签 src 用 到 


return msgImage # 返 回 msgImage 对 象 








msg = MIMEMultipart ('related') # 创 建 MIMEMuULtipart 对 象 ， 采 
HĦHrelated XARI 

# 的 邮件 体 
msgtext = MIMEText (""" # 创 建 一 个 MIMEText 对 象 ，HTML 元 素 包 括 表 











格 <table> 及 图 片 <img> 


«table width="600" border="0" cellspacing="0" 
cellpadding="4"> 


<tr bgcolor="#CECFAD" height="20"duokan-code-cn">: 
14px"> 


«td colspan=2>* 官 网 性 能 数据 <a 
href="monitor ,domain.com'"> 更 多 >></a></td> 


</tr> 


«tr bgcolor="#EFEBDE" height="100"duokan-code-cn">: 
13px'» 


«td» 

«img src="cid: 10"></td><td> 

<img src="cid: key_hit"></td> 
</tr> 


<tr bgcolor="#EFEBDE" height="100"duokan-code-cn">: 
13px"> 


<td> 

<img src="cid: men"></td><td> 

<img src="cid: swap"></td> 
</tr> 


M 


</table>""", "html", "utf-8") #<img> 标 签 的 src 属 性 是 通过 


Content -ID 来 引用 的 


HE 





msg.attach (msgtext) #MIMEMU1Ltipart 对 象 附 加 MIMEText 的 内 容 


msg.attach (addimg ("img/bytes_io.png", "io") ) # 使 用 
MIMEMUltipart 对 象 附 加 MIMEImage 


# 的 内 容 
msg.attach (addimg ("img/myisam_key_hit.png", "key hit") ) 
msg.attach (addimg ("img/os_mem.png", "men") ) 
msg.attach (addimg ("img/os swap.png". "swap") ) 
msg['Subject'] = SUBJECT # 邮 件 主题 
msg['From']=FROM # 邮 件 发 件 人 ， 邮 件 头 部 可 见 
msg['To']-TO # 邮 件 收 件 人 ， 邮 件 头 部 可 见 


try: 





server = smtplib.SMTP () # 创 建 一 个 SMTP O 对 象 





server.connect (HOST, "25") # 通 过 connect 方 法 连接 smtp 主 机 





server.starttls () # 启 动 安全 传输 模式 


server.login ("mymail@gmail.com", "mypassword") # 邮 箱 
账号 登录 校 验 


server.sendmail (FROM, TO, msg.as_string © ) # 邮 件 发 
送 


server.quit O # 断 开 smtp 连 接 


print "邮件 发 送 成 功 ! " 





except Exception, e: 


print "AM: "+str (e) 





代码 运行 结果 如 图 2-7 所 示 ， 我 们 将 业务 服务 占 性 
能 数据 定期 推送 给 管理 员 ， 以 方便 管理 员 了 解 业 务 


的 服务 情况 。 


Lat 


e oo iet M 











图 2-7 示例 2 运行 结果 


示例 3 : 实现 市 附件 格式 的 业务 服务 质量 周报 邮 
fF. 


本 示例 通过 MIMEText 与 MIMEImage 类 的 组 合 

现 图 文 邮件 格式 。 田 另 通过 MIMEText 类 再 定义 
Content-Disposition 属 性 来 实现 带 附 件 的 邮件 。 我 们 
可 以 利用 这 些 丰 富 的 特性 来 定制 周报 邮件 ， 如 业务 
服务 质量 周报 。 实 现代 码 如 下 : 


[/home'/test/smtplib/simple4.py ] 








#coding: utf-8 
import smtplib 


from email.mime.multipart import MIMEMultipart # 导 入 
MIMEMultipart2 


from email.mime.text import MIMEText # 导 入 MIMEText 类 





from email.mime.image import MIMEImage # 导 入 MIMEImage 类 
HOST = "smtp.gmail.com" # 定 义 smtp 主 机 
SUBJECT = u" 官 网 业务 服务 质量 周报 " # 定 义 邮件 主题 











TO = "testmail@qq.com" # 定 义 邮 件 接收 人 











FROM = "mymail@gmail.com" # 定 义 邮件 发 件 人 
def addimg (src, imgid) : # 添 加 网 片 函数 ， 参 数 1: ARE, SA 
2: 图 片 id 





fp = open (src, 'rb') # 打 开 文 件 














msgImage = MIMEImage (fp.read ©) ) # 创 建 MIMEImage 对 象 ， 
读 取 图 片 内 容 作为 参数 

fp.close O # 关 闭 文件 

msgImage.add header ('Content-ID', imgid) # 指 定 图 片 文 
件 的 Content -ID，<img> 

# 标 签 src 用 到 

return msgImage # 返 回 msgImage 对 象 

msg = MIMEMultipart ('related') 48|f&MIMEMultipartX]£, X 





Hjrelatedsg X. Pj tec t s 





# 的 邮件 体 


# 创 建 一 个 MIMEText 对 象 ，HTML 元 素 包括 文字 与 图 片 <img> 














msgtext = MIMEText ("<font color=red> 官 网 业务 周平 均 延 时 图 表 : <br> 
«img src=\"cid: weeklyN" border=\"1\"><br> 详 细 内 容 见 附件 。 
</font>", "html", "utf-8") 


msg.attach (msgtext) #MIMEMu1ltipart 对 象 附 加 MIMEText 的 内 容 


msg.attach (addimg ("img/weekly.png", "weekly") ) # 使 用 
MIMEMultipart 对 象 附加 


# MIMEImage 
的 内 容 


# 创 建 一 个 MIMEText 对 象 ， 附 加 week_report .xlsx 文 档 





attach = MIMEText (open ("doc/week_report.xlsx", 





"rb") .read (), "base64", "utf-8") 
attach["Content-Type"] - "application/octet-stream" # 指 定 
文件 格式 类 型 








#48 Content -Disposition 值 为 attachment 则 出 现下 载 保存 对 话 框 ， 保 存 的 
默认 文件 名 使 用 





eS 


#filename 指 定 


# 由 于 qqmail 使 用 gb18030 页 面 编码 ， 为 保证 中 文 文件 名 不 出 现 乱 码 ， 对 文件 名 进 
行 编码 转换 


























attach["Content-Disposition"] = "attachment; filename=\" 业 务 
服务 质量 周报 (12 周 ) .xlsx\"". decode ("utf- 
8") .encode ("gb18030") 





msg.attach (attach) #MIMEMuJLtiIpart 对 象 附加 MIMEText 附 件 内 容 
msg['Subject'] = SUBJECT # 邮 件 主题 

msg['From']=FROM # 邮 件 发 件 人 ， 邮 件 头 部 可 见 

msg['To']-TO # 邮 件 收 件 人 ， 邮 件 头 部 可 见 











try: 
server = smtplib.SMTP () # 创 建 一 个 SMTP O 对 象 
server.connect (HOST, "25") # 通 过 connect 方 法 连接 smtp 主 机 
server.starttls () # 启 动 安 全 传输 模式 
server.login ("mymail@gmail.com", "mypassword") # 邮 箱 
账号 登录 校 验 


server.sendmail (FROM, TO, msg.as string © ) # 邮 件 发 


server.quit O HII E smtp 
print "邮件 发 送 成 功 ! " 
except Exception. e: 


print "AM: "+str (e) 





代码 运行 结果 如 图 2-8 所 示 ， 实 现 了 友 送 业务 服务 
质量 周报 的 邮件 功能 。 


官网 业务 服务 质量 周报 交 

发 件 人 人: <mymail@gmail.com> E 

时 iB: 2014:EA4H 1 IE CE HER ) ES E 9:20 (UTC-07:00 kinta. Siea) 
WEA: <testmail@qq.com> 

PY 件 : 3^8 CES HESS ARS Bie C12 8]).xIsx) 


官网 业务 周平 均 延 时 图 表 : 


1 
详细 内 容 见 附件 。 
© 附件 (1 个) 
SANH (0 已 通过 电脑 管 宗 三 查 亲 引擎 扫 掏 ) 


业务 服务 盾 时 周报 (12 周 ).xlsx (9.626) 
ij 下载 预览 收藏 et 





图 2-8 ”示例 3 的 运行 结 


参考 提示 


‘2.3.1 Tismtplib E t] 5$ H1 28 45 MANASA 
https://docs.python.org/2.7/library/smtplib.html . 


-2.3.2 Hemail.mimeit HAE LAKES 
https://docs.python.org/2.7/library/email.mime.html. 





2.4 探测 Web 服 务 质量 方法 


pycurl Chttp://pycurl.sourceforge.net) 是 一 个 用 C 语 
言 写 的 libcurl Python 实现 ， 功 能 非常 强大 ， 文 持 的 
操作 协议 有 FTP、HTTP、HTTPS、TELNET 等 ， 可 
以 理解 成 Linux 下 curl 命 令 功 能 的 Python 封装 ， 人 简单 
易 用 。 本 节 通 过 调用 pycurl 提 供 的 方法 ， 实 现 探 测 
Web 服 务 质量 的 情况 ， 比 如 啊 应 的 HITP 状 态 码 、 
请 求 延 时 、HTTP 头 信息 、 下 载 速 度 等 ， 利 用 这 些 
信息 可 以 定位 服务 啊 应 慢 的 具体 环节 ， 下 面 详 细 进 
行 说 明 。 

pycurl 模 块 的 安装 方法 如 下 : 





easy install pycurl #easy_instal1 安 装 方法 





pip install pycurl #pip 安 装 方法 
# 源 码 安 装 方法 
# 要 求 curl-config 包 支持 ， 需 要 源码 方式 重新 安装 curl 











# wget http: //curl.haxx.se/download/curl-7.36.0.tar.gz 
# tar -zxvf curl-7.36.0.tar.gz 

# cd curl-7.36.0 

# ./configure 

# make && make install 

# export LD LIBRARY PATH-/usr/local/lib 


# 


# wget 

https: //pypi.python.org/packages/source/p/pycurl/pycurl- 
7.19.3.1.tar.gz --no-check-certificate 

# tar -zxvf pycurl-7.19.3.1.tar.gz 

# cd pycurl-7.19.3.1 


# python setup.py install --curl-config-/usr/local/bin/curl- 
config 








Ym BCI AG RUB : 





>>> import pycurl 
>>> pycurl.version 


'PyCURL/7.19.3.1 libcurl/7.36.0 OpenSSL/1.0.1e zlib/1.2.3' 





2.4.1 模块 常用 方法 说 明 
pycurl.Curl €) 类 实现 创建 一 个 libcurl 包 的 Curl 句 柄 
对 象 ， 无 参数 。 更 多 关于 libcurl 包 的 介绍 见 


http://curl.haxx.se/libcurl/c/libcurl-tutorial.html. F [Él 
介绍 Curl 对 象 几 个 常用 的 方法 。 


close © 方法 ， 对 应 libcurl 包 中 的 
curl easy. cleanup7;i1k, ABW, SENA. [us 
Curb] £& . 


‘perform () 方法 ， 对 应 libcurl 包 中 的 
curl_easy_perform 方 法 ， 无 参数 ， 实 现 Curl 对 象 请 





求 的 所 区。 


'setopt (option, value) 方法 ， 对 应 libcurl 包 中 的 
cUr]_easy_setopt 方 法 ， 参 数 option 是 通过 libcurl 的 种 
量 来 指定 的 ， 参 数 value 的 值 会 依赖 option， 可 以 是 
NFFP, WU, KEE, UFRR, PREK 
数 等 。 下 面 列 举 第 用 的 第 量 列表 : 




































































c = pycurl,.curl © # 创 建 一 个 curl 对 象 

c.setopt (pycurl.CONNECTTIMEOUT, 5) # 连 接 的 等 待 时 间 ， 设 置 为 9 
则 不 等 待 

c.setopt (pycurl.TIMEOUT, 5) # 请 求 超时 时 间 

c.setopt (pycurl.NOPROGRESS, 0) # 是 否 屏蔽 下 载 进 度 条 ， 非 6 则 屏 
ili 

c.setopt (pycurl.MAXREDIRS, 5) # 指 定 HTTP 重 定向 的 最 大 数 
c.setopt (pycurl.FORBID REUSE. 1) # 完 成 交互 后 强制 断 开 连 接 ， 不 
重用 

c.setopt (pycurl.FRESH_CONNECT, 1) # 强 制 获取 新 的 连接 ， 即 替代 组 
存 中 的 连接 

c.setopt (pycurl.DNS CACHE TIMEOUT, 60) # 设 置 保存 DNS 信息 的 时 
间 ， 默 认为 120 秒 

c.setopt (pycurl.URL, "http: //www.baidu.com") # 指 定 请 求 的 
URL 


c.setopt (pycurl.USERAGENT, "Mozilla/5.2 (compatible; MSIE 
6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 
2.0.50324) ") # 配 置 请 求 HTTP 头 的 User -Agent 

















c.setopt (pycurl.HEADERFUNCTION. getheader)  # 将 返回 的 HTTP 
HEADER 定 癌 到 回调 函数 getheader 





c.setopt (pycurl.WRITEFUNCTION, getbody) # 将 返回 的 内 容 定 所 
到 回调 函数 getbody 





c.setopt (pycurl.WRITEHEADER, 


HEADER 定 向 到 fileobj 文 件 对 象 





c.setopt (pycurl.WRITEDATA, 


到 fileobj 文 件 对 象 


fileobj) # 将 返回 的 HTTP 
fileobj) # 将 返回 的 HTML 内 容 定 牛 








:getinfo (option) 方法 ， 对 应 libcurl 包 中 的 
curl_easy_getinfo 方 法 ， 参 数 option 是 通过 libcurl 的 
TEKEN. TEANA HN EK: 


c = pycurl.Curl © 


c.getinfo (pycurl.HTTP CODE) 


c.getinfo 
c.getinfo 
c.getinfo 


c.getinfo 


耗 的 时 间 


c.getinfo 


耗 的 时 间 

c.getinfo 
c.getinfo 
c.getinfo 
c.getinfo 
c.getinfo 


c.getinfo 


Cpycurl. 
Cpycurl. 
Cpycurl. 


Cpycurl. 


Cpycurl. 


Cpycurl. 
Cpycurl. 
Cpycurl. 
Cpycurl. 
Cpycurl. 


Cpycurl. 











# 创 建 一 个 cur1 对 象 


TOTAL TIME) 
NAMELOOKUP TIME) 
CONNECT TIME) 


PRETRANSFER TIME) 


STARTTRANSFER TIME) 


# 返 回 的 HTTP 状 态 码 
# 传 输 结束 所 消耗 的 总 时 间 





#DNS 解 析 所 消耗 的 时 间 
# 建 立 连接 所 消耗 的 时 间 
# 从 建立 连接 到 准备 传输 所 消 

















# 从 建立 连接 到 传输 开始 消 








REDIRECT_TIME) # 重 定向 所 消耗 的 时 间 
SIZE_UPLOAD) # 上 传 数据 包 大 小 
SIZE_DOWNLOAD) # 下 载 数 据 包 大 小 
SPEED_DOWNLOAD ) # 平 均 下 载 速 度 
SPEED_UPLOAD ) # 平 均 上 传 速度 
HEADER SIZE) #HTTP 头 部 大 小 








我 们 利用 libcurl 包 提供 的 这 些 负 量 值 来 达到 探测 





Web 服 务 质 量 的 目的 。 
2.4.2 KE: 实现 探测 Web 服 务 质量 


HTTP 服 务 是 最 流行 的 互联 网 应 用 之 一 ， 服 务 质量 
的 好 坏 关 系 到 用 户 体 验 以 及 网 站 的 运营 服务 水 平 ， 
最 弟 用 的 有 两 个 标准 ， 一 为 服务 的 可 用 性 ， 比 如 是 
售 处 于 正 弟 提供 服务 状态 ， 而 不 是 出 现 404 页 面 未 
找到 或 500 页 面 错误 等 ， 二 为 服务 的 啊 应 速度 ， 比 
如 静态 类 文件 下 载 时 间 都 控制 在 坚 秒 级 ， 动 态 CGI 
为 秒 级 。 本 示例 使 用 pycurl 的 setopt 与 getinfo 方 法 实 
现 HITP 服 务 质量 的 探测 ， 获 取 监 控 URL 返 回 的 
HTTP 状 态 码 ，HTTP 状 态 码 采用 
pycurlL.HITP_CODE 钊 量 得 到 ， 以 及 从 HTTP 请 求 到 
完成 下 载 期 间 各 坏 市 的 啊 应 时 间 ， 通 过 
pycurl.NAMELOOKUP_TIME.、 
pycurl.CONNECT_TIME, 
pycurl.PRETRANSFER TIME. pycurl.RZE 2$ HORSE 
现 。 另 外 通过 pycurl.WRITEHEADER、 
pycurl.WRITEDATA 第 量 得 到 目标 UREL 的 HITP 啊 应 
头 部 及 页 面 内 容 。 实 现 源码 如 下 : 


[ /home/test/pycurl/simple1.py ] 























# -*- coding: utf-8 -*- 
import os, sys 


import time 


import sys 


import pycurl 





















































URL-"http: //www. google.com.hk" # 探 测 的 目标 URL 

c = pycurl.Curl © # 创 建 一 个 Cur1 对 象 

c.setopt (pycurl.URL, URL) # 定 义 请 求 的 URL 常 量 

c.setopt (pycurl.CONNECTTIMEOUT, 5) # 定 义 请 求 连接 的 等 待 时 间 
c.setopt (pycurl.TIMEOUT, 5) # 定 义 请 求 超时 时 间 

c.setopt (pycurl.NOPROGRESS, 1) # 屏 蔽 下 载 进度 条 

c.setopt (pycurl.FORBID REUSE. 1) # 完 成 交互 后 强制 断 开 连 接 ， 不 
重用 

c.setopt (pycurl.MAXREDIRS, 1) # 指 定 HTTP 重 定向 的 最 大 数 为 1 
c.setopt (pycurl.DNS CACHE TIMEOUT, 30) # 设 置 保存 DNS 信息 的 时 
间 为 30 秒 





# 创 建 一 个 文件 对 象 ， 以 "wb” 方 式 打 开 ， 用 来 存储 返回 的 http 头 部 及 页 面 内 容 


indexfile = 
open Cos.path.dirname (os.path.realpath ( file )) 
-"/content.txt",  "wb") 











c.setopt (pycurl.WRITEHEADER, indexfile) # 将 返回 的 HTTP 
HEADER 定 向 到 indexfile 文 件 对 象 
c.setopt (pycurl.WRITEDATA, indexfile) # 将 返回 的 HTML 内 容 定 
向 到 indexfile 文 件 对 象 
try: 

c.perform O # 提 交 请 求 


except Exception, e: 
print "connecion error: "+str (e) 
indexfile.close () 


c.close () 


sys.exit () 


























NAMELOOKUP TIME = c.getinfo (c.NAMELOOKUP TIME) # 获 取 DNS 
解析 时 间 
CONNECT TIME = c.getinfo (c.CONNECT TIME) # 获 取 建 立 连 接 时 间 
PRETRANSFER TIME =  c.getinfo (c.PRETRANSFER TIME) # 获 取 
从 建立 连接 到 准备 传输 所 消 

# 耗 的 时 
间 
STARTTRANSFER_TIME = c.getinfo (c.STARTTRANSFER TIME) # 获 
取 从 建立 连接 到 传输 开始 消 

# 耗 的 

时 间 
TOTAL TIME = c.getinfo (c.TOTAL TIME) # 获 取 传 输 的 总 时 间 
HTTP CODE = c.getinfo (c.HTTP. CODE) # 获 取 HTTP 状 态 码 
SIZE DOWNLOAD = c.getinfo (c.SIZE DOWNLOAD) # 获 取 下 载 数据 
包 大 小 
HEADER SIZE = c.getinfo (c.HEADER SIZE) # 获 取 HTTP 头 部 大 小 
SPEED DOWNLOAD-c.getinfo (c.SPEED DOWNLOAD) # 获 取 平 均 下 载 速 
度 
# 打 印 输出 相关 数据 


print "HTTP 状 态 码 : %s" % (HTTP. CODE) 


print "DNS 解析 时 间 : 96.2f ms"% (NAMELOOKUP TIME*1000) 











print "建立 连接 时 间 : 96.2f ms" % (CONNECT. TIME*1000) 
print "准备 传输 时 间 : %.2f ms" % (PRETRANSFER TIME*1000) 


print "传输 开始 时 间 : 96.2f ms" % (STARTTRANSFER TIME*1000) 





print "传输 结束 总 时 间 : %.2f ms" % (TOTAL TIME*1000) 


print "下 载 数据 包 大 小 : %d bytes/s" % (SIZE_DOWNLOAD) 


print "HTTP 头 部 大 小 : %d byte" 96 (HEADER SIZE) 
print "平均 下 载 速度 : %d bytes/s" % (SPEED DOWNLOAD) 
# 关 闭 文 件 及 Curl 对 象 

indexfile.close () 


c.close () 





代码 的 执行 结果 如 图 2-9 所 示 。 


[rootesSN2013-08-020 pycurl]£ python simplel.py 
HTTP 状 态 码 : 200 

DNS 解 析 时 间 : 113.18 ms 

建立 连接 时 间 : 300.70 ms 

准备 传输 时 间 : 301.06 ms 


传输 开始 时 间 : 507.36 ms 

传输 结束 总 时 间 : 507.52 ms 

下 载 数据 包 大 小 : 12006 bytes/s 
HTTP 头 部 大 小 : 798 byte 
平均 下 载 速 度 : 23656 bytes/s 





图 2-9 ”探测 到 的 Web 服 务 质量 


得 看 获取 的 HTTP 文件 头 部 及 页 面 内容 文 件 
content.txt， 如 图 2-10 所 示 。 


| LE EE EA | 
Date: Wed, 23 Apr 2014 15:19:04 GMT 

Expires: -1 

¢ache-Control: private, max-age-9 

(Content-Type: text/html; charset-Big5 

Set-Cookie: PREF-ID-e2c1021e3b4d36e8:FF-0:NW-1: TM-1398266344:: LM-1398266344 : S-X1ev4S 
$et-Cookie: NID-«67-P9W3T5im?7sfXTfFZVXP9mOSQq9SB3M1QqtA6SnL xh. 4bbdN6i Y302vKOci XTmhaG7 
5:19:04 GMT; path-/; domain-.google.com.hk; HttpOnly 

P3P: CP="This is not a P3P policy! See http: //www.google.com/support/accounts/bin/a 
Server: gws 

X-XSS-Protection: 1; mode-block 

X-Frame-Options: SAMEORIGIN 

Alternate-Protocol: 8@:quic 

Transfer-Encoding: chunked 


4l!doctype html><html itemscope-"" itemtype- Roo //schema.org/WebPage" Lang="zh- HK" 
4script«Cfunction(O) f 
indow . googLe-{kEI: "ONLXU- TOEMy6kAXeu4 COCA”, getEI: function ca» Tforcvar b;a&&(la.getA 
return"https:"—wmindow.location.protocol],kEXPI:"17259,4000116,4007661 , 4007830 , 400% 
4012373,4012504,40133/4,4013414,4013591, 4013723,4013758,4013/87 ,4013823,4013967 , 4D 
,4915155,4015234,4015260,4015342,4015519,4015550,4015635,4015638,4015639,4015772 , 44 
5,4016466 , 4016479 , 4016487 ,4016623 ,4016/703 , 4016730, 4016767 , 4016800, 4016824 , 4016851, 
127285.4917261,4017336.8300015.8300017.8500165.8500223.8500240.8500257 


图 2-10 content.txt#% A 








参考 提示 
“2.4.1 节 pycurl 模 块 的 第 用 类 与 方法 说 明 参 考官 


http://pycurl.sourceforge.net/doc/index.html - 


"Rai ”定制 业务 质量 报表 详解 


在 日 单 运 维 工 作 当 中 ， 会 涉及 大 量 不 同 来 源 的 数 
据 ， 比 如 每 天 的 服务 器 性 能 数据 、 平 台 监 控 数 据 、 
目 定 义 业 务 上 报 数据 等 ， 需 要 根据 不 同时 段 ， 周 期 
性 地 输出 数据 报表 ， 以 方便 管理 员 更 加 清晰 、 及 时 
地 了 解 业务 的 运营 情况 。 在 业务 监控 过 程 中 ， 也 需 
要 更 加 直观 地 展示 报表 ， 以 便 快 速 定位 问题 。 本 章 
介绍 Excel 操 作 模 块 、rrdtool 数 据 报表 、scapy 包 处 理 
等 ， 相 关 知 识 点 运用 到 运营 平台 中 将 起 到 增色 添彩 
的 作用 。 














3.1 数据 报表 之 Excel 操 作 模 块 


Excel 是 当今 最 流行 的 电子 表格 处 理 软 件 ， 文 持 丰 家 
的 计算 函数 及 图 表 ， 在 系统 运营 方面 广泛 用 于 运营 
数据 报表 ， 比 如 业务 质量 、 资 源 利用 、 安 全 扫描 每 
报表 ， 同 时 也 是 应 用 系统 常见 的 文件 导出 格式 ， 以 
便 数 据 使 用 人 员 做 进一步 加 工 处 理 。 本 市 主要 讲述 
利用 Python 操 作 Excel 的 模块 

XlsxWriter Chttps://xlsxwriter.readthedocs.org) ， 可 
以 操作 多 个 工作 表 的 文字 、 数 字 、 公 式 、 图 表 等 。 

XlsxWriter 模 块 具有 以 下 功能 : 


.1009%6 兼 容 的 Excel XLSX 文 件 ， 支 持 Excel 2003、 
Excel 2007 等 版 本 ; 


` 文 持 所 有 Excel 蛙 元 格 数 据 格式 ; 
:单元 格 合并 、 批 广 、 自 动 筛选 、 丰 富 多 格式 字符 
PSF; 














.支持 工作 表 PNG、JPEG 图 像 ， 自 定义 图 表 ; 
:内存 优 化 模式 文 持 写 入 大 文件 。 
XlsxWriter 模 块 的 安装 方法 如 下 : 





# pip install XlsxWriter #pip 安 装 方法 





4 easy install Xlsxwriter #easy_install 安 装 方法 


# 源 码 安装 方法 


# curl 





sesi 


http: //github.com/jmcnamara/XlsxWriter/archive/master.tar.gz 


# tar zxvf master.tar.gz 


# cd Xlsxwriter-master/ 


# sudo 


下 面 通 
(rp 
格式 等 


python setup.py install 





过 一 个 人 简单 的 功能 演示 示例 ， 实 现 插入 文字 
字符 ) 、 数 字 《〈 求 和 计算 ) 、 图 片 、 单 元 格 


[/home'/test/XlsxWriter/simple1.py ] 





#coding: utf-8 


import xlsxwriter 

















workbook = xlsxwriter.Workbook ('demo1.xlsx') # 创 建 一 个 
Excel 文 件 

worksheet = workbook.add worksheet () # 创 建 一 个 工作 表 对 象 
worksheet.set column ('A: A', 20) # 设 定 第 一 列 (A) 宽度 为 20 像 
素 

bold = workbook.add format (('bold': True) # 定 义 一 个 加 粗 的 
格式 对 象 

worksheet ,write ('A1', 'Hello') #A1 单 元 格 写 入 'Hello' 
worksheet ,write ('A2', 'World', bold) #A2 单 元 格 写 


入 'World' 并 引用 加 粗 格 式 对 象 bold 


worksheet .write ('B2'，u' 中 文 测试 '"， bold) #B2 单 元 格 写 入 中 文 
并 引用 加 粗 格式 对 象 bold 


worksheet .write (2, 0, 32) # 用 行列 表示 法 写 入 数 

字 !32 5'35,5' 

worksheet .write (3, Q0, 35.5) # 行 列表 示 法 的 单元 格 下 标 以 9 作为 起 
始 值 ，'3，9' 等 价 于 'A3' 

worksheet.write (4, 0, '=SUM (A3: A4) ') # 求 A3: A4 的 和 ， 并 
将 结果 写 入 '4，0'， 即 'A5' 

worksheet.insert image ('B5', 'img/python-logo.png') # 在 
B5 单 元 格 插入 图 片 

workbook.close () # 关 闭 Exce1 文 件 





程序 生成 的 demo1.xlsx 文 档 截 图 如 图 3-1 所 示 。 
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AI3-1 demol.xlsx LFR E 
3.1.1 BeBe a FATIH it HA 


1.Workbook 类 


Workbook 类 定义 : Workbook (filename[， 

options]) ， 该 类 实现 创建 一 个 XIsxWriter 的 
Workbook 对 象 。Workbook 类 代表 整个 电子 表格 文 
件 ， 并 且 存 储 在 磁盘 上 。 人 参数 flename (String 类 
型 ) 为 创建 的 Excel 文 件 存储 路 径 ; 参数 

options (Dict 类 型 ) 为 可 选 的 Workbook 人 参数， 一 般 
作为 初始 化 工作 表 内 容 格式 ， 例 如 值 为 
{'strings_to_numbers': True} 表 示 使 用 
worksheet.write O 方法 时 激活 字符 串 转 换 数 字 。 


:add worksheet ([sheetname]) 方法 ， 作 用 是 添加 一 
个 新 的 工作 表 ， 参 数 sheetname 〈String 类 型 ) 为 可 
选 的 工作 表 名 称 ， 默 认为 Sheet1。 例 如 ， 下 面 的 代 
码 对 应 的 效果 图 如 网 3-2 所 示 。 











worksheet1 = workbook.add worksheet () # Sheet1 
worksheet2 - workbook.add worksheet ('Foglio2') # Foglio2 
worksheet3 = workbook.add worksheet ('Data') # Data 


worksheet4 = workbook.add worksheet () # Sheet4 


E 


EN- APA 
| -IAA WEG ow ov ux m 
BO A Ree) c4 s 


Ber- 


mas 7 数字 ^ 








图 3-2 ”添加 新 工作 表 


-add_format ([properties]) 方法 ， 作 用 是 在 工作 表 
中 创建 一 个 新 的 格式 对 象 来 格式 化 单元 格 。 人 参数 
properties (dict 类 型 为 指定 一 个 格式 属性 的 字 
典 ， 例 如 设置 一 个 加 粗 的 格式 对 象 ， 
workbook.add format ({'bold': True}) 。 通 过 
Format methods 〈 格 式 化 方法 ) 也 可 以 实现 格式 的 
设置 ， 等 价 的 设置 加 粗 格 式 代 人 码 如 下 : 


bold = workbook.add format () 


bold.set bold ©) 
更 多 格式 化 方法 见 
http://xlsxwriter.readthedocs.org/working with format: 


add chart (options) 方法 ， 作 用 是 在 工作 表 中 创建 
一 个 图 表 对 象 ， 内 部 是 通过 insert_chart O 方法 来 


实现 ， 参 数 options (dict 类 型 ) 为 图 表 指 定 一 个 字 
典 属性 ， 例 如 设置 一 个 线条 类 型 的 图 表 对 象 ， 代 码 
为 chart=workbook.add_chart ({'type': ‘line'}) . 


‘close O 方法 ， 作 用 是 关闭 工作 表 文 件 ， 如 


workbook.close () . 
2.Worksheet 类 


Worksheet 类 代表 了 一 个 Excel 工 作 表 ， 是 XlsxWiriter 
模块 操作 Excel 内 容 最 核心 的 一 个 类 ， 例 如 将 数据 写 
入 单元 格 或 工作 表格 式 布 局 等 。Worksheet 对 象 不 
能 直接 实例 化 ， 取 而 代 之 的 是 通过 Workbook 对 象 调 
用 add_worksheet © 方法 来 创建 。Worksheet 类 提 
供 了 非常 丰富 的 操作 Excel 内 容 的 方法 ， 其 中 几 个 常 
用 的 方法 如 下 : 


"write Crow, col, *args) 方法 ， 作 用 是 写 普 通 数 
据 到 工作 表 的 单元 格 ， 参 数 row 为 行 坐标 ，col] 为 列 
坐标 ， 坐 标 索 引起 始 值 为 0，*#args 无 名 字 参 数 为 数 
据 内 容 ， 可 以 为 数字 、 人 公式、 字符 串 或 格式 对 象 。 
为 了 人 简化 不 同 数据 类 型 的 写 入 过 程 ，write 方 法 已 经 
作为 其 他 更 加 具体 数据 类 型 方法 的 别名 ， 包 括 : 


write string O 写 入 字符 串 类 型 数据 ， 如 : 














worksheet.write string (0, ©, 'Your text here') ; 


"write number () 写 入 数字 类 型 数据 ， 如 : 





worksheet.write number ('A2', 2.3451) ; 





write blank (0 E ASRZSSAE. un: 





worksheet.write ('A2', None) ; 





write formula () 写 入 公式 类 型 数据 ， 如 : 





worksheet.write formula (2, ©, '=SUM (B1: B5) ') ; 





"write dateime O 写 入 日 期 类 型 数据 ， 如 : 





worksheet.write datetime (7, 0， 
datetime.datetime.strptime ('2013-01-23', '%Y-%m-%d') ， 
workbook.add format (('num format': 'yyyy-mm-dd'}) ) ; 





write boolean () 写 入 逻辑 类 型 数据 ， 如 : 





worksheet.write boolean (0, 0， True); 





write url O 写 入 超 链接 类 型 数据 ， 如 : 





worksheet.write url ('A1', 'ftp: //www.python.org/') . 





下 列 通过 只 体 的 示例 来 观察 别名 write 方法 与 数据 区 
型 方法 的 对 应 关系 ， 代 码 如 下 : 





worksheet ,write (0, ©, 'Hello') # write string () 
worksheet.write (1, 0, ‘'World') # write string O 
worksheet.write (2, 0, 2) # write number () 
worksheet.write (3, 0, 3.00001) # write number () 
worksheet.write (4, ©, '=SIN (PI O /4) ') # 
write_formula () 

worksheet.write (5, 0, '') # write_blank () 
worksheet.write (6, 0, None) # write_blank () 





上 述 示例 将 创建 一 个 如 图 3-3 所 示 的 工作 表 。 








图 3-3 ”创建 单元 格 并 写 入 数据 的 工作 表 


'set row (row, height, cell format, options) 方 
法 ， 作 用 是 设置 行 单 元 格 的 属性 。 参 数 row (int 类 
型 ) 指定 行 位 置 ， 起 始 下 标 为 0; 参数 height (float 
类 型 ) 设置 行 局 ， 单 位 像素 ;参数 

cell format (format 类 型 ) 指定 格式 对 象 ， 参数 
options (dict 类 型 ) 设置 行 hidden〈 人 隐藏 ) 、 

level (组 合 分 级 ) ~ collapsed (FÆ) 。 操 作 示 例 
如 下 : 




















worksheet.write ('A1', 'Hello') # 在 A1 单 元 格 写 入 'He1L1o ' 字 符 
cell format = workbook.add format (('bold': True) HEX 
一 个 加 粗 的 格式 对 象 
worksheet.set row (0, 40, cell format) # 设 置 第 1 行 单 元 格 高 度 
为 40 像 素 ， 且 引用 加 粗 

# 格 式 对 象 
worksheet.set row (1, None, None, {'hidden': True}) # 隐 


藏 第 2 行 单元 格 





上 述 示例 将 创建 一 个 如 图 3-4 所 示 的 工作 表 。 


(wd? €) testalsx - Microsoft Excel X x 
7a | MO Ree ot mE XAR RE B- 
rus nu - =a XX . fenem jvm- = Ar 3 
"E szoa] £23 da. Bere me 加 
23k - DORER- DRR- 2 Da 
Harare ES) 43 - s 











£e ~ 7 = 邓 开 方式 aS Ex som Lol 
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(9 
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| 5 
| 6 
| 7 
| 8 
9 
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[13 
1-314 
[M Mi Sheez1 AJ j : 
wm [rd f dá 一 一 一 





图 3-4 ”设置 行 单 元 格 属性 后 的 效果 


:set column (first col, last col, width, 

cell format, options) 方法 ， 作 用 为 设置 一 列 或 多 
列 单 元 格 属 性 。 参 数 first_col (int 类 型 ) 指定 开始 
列 位 置 ， 起 始 下 标 为 0;， 2Xuast col (int 类 型 ) 指 
定 结束 列 位 置 ， 起 始 下 标 为 0， 可 以 设置 成 与 
first_col 一 样 ， 参 数 width (float 类 型 ) 设置 列 宽 ; 
参数 cell format (Format 类 型 ) 指定 格式 对 象 ， 参 
数 options (dict 类 型 ) 设置 行 hidden〔 隐 藏 〉、 
level (组 合 分 级 ) ~ collapsed (fr) 。 操 作 示 例 
如 下 : 








worksheet ,write ('A1', 'Hello') # 在 Al 单 元 格 写 入 'Hello' 字 符 
串 


worksheet.write ('B1', 'World') # 在 Bi 单元 格 写 入 'World' 字 符 


ra 
Ao 








cell format = workbook.add format ({'bold': True) WE X. 
一 个 加 粗 的 格式 对 和 象 


# 设 置 0 到 1 即 (AZIB) 列 单元 格 





宽度 为 10 像 素 ， 
且 引 用 加 粗 格 式 对 象 


worksheet.set column (0, 1, 10, cell format) 





worksheet.set column ('C: D', 20) # 设 置 C 到 D 列 单元 格 宽度 为 20 
像素 
worksheet.set column ('E: G', None, None, {'hidden': 


115 # 隐 藏 E 到 G 列 单元 格 





上 述 示例 将 创建 一 个 如 图 3-5 所 示 的 工作 表 。 


'insert image (row, col, image[, options) 7; 
法 ， 作 用 是 插入 图 厂 到 指定 单元 格 ， 文 持 PNG、 
JPEG、BMP 等 图 片 格式 。 参 数 row 为 行 坐 标 ，col 为 
列 坐 标 ， 坐 标 索 引起 始 值 为 0;， 参数 image (string 类 
型 ) 为 图 片 路 径 ; 参数 options (dict 类 型 ) 为 可 选 
参数 ， 作 用 是 指定 图 片 的 位 置 、 比 例 、 链 接 URL 等 
信息 。 操 作 示 例如 下 : 

















# 在 B5 单 元 格 插入 python-logo.png 图 片 ， 图 片 超级 链接 为 
http: //python.org 











worksheet.insert image ('B5', 'img/python-logo.png'. 
{'url': 'http: //python.org' }) 





上 述 示例 将 创建 一 个 如 图 3-6 所 示 的 工作 表 。 


d 





图 3-6 ”插入 图 所 到 单元 格 的 效 宁 


3.Chart 类 


Chart 类 实现 在 XlsxWiriter 模 块 中 图 表 组 件 的 基 类 ， 

支持 的 图 表 类 型 包括 面积 、 条 形 图 、 柱 形 图 、 折 线 
图 、 人 饼 图 、 散 点 图 、 股 票 和 雷达 等 ， 一 个 图 表 对 象 
wiit Workbook (TE) 的 add_chart 方 法 创建 ， 
通过 {type，' 图 表 类 型 '} 字 典 参数 指定 图 表 的 类 型 ， 

语句 如 下 : 





chart = workbook.add chart ({type, 'column'}) # 创 建 一 个 
column Æ) 图 表 





更 多 图 表 关 型 说 明 : 

‘area: 创建 一 个 面积 样式 的 图 表 ; 
‘bar: 创建 一 个 条 形 样 式 的 图 表 ; 
‘column: 创建 一 个 柱 形 样 式 的 图 表 ; 
line: 创建 一 个 线条 样式 的 图 表 ; 
‘pie: 创建 一 个 饼 图 样式 的 图 表 ; 
‘scatter: 创建 一 个 散 点 样式 的 图 表 ; 
‘stock: 创建 一 个 股票 样式 的 图 表 : 


‘radar: 创建 一 个 雷达 样式 的 图 表 。 


然后 再 通过 Worksheet (TER) 的 insert_chart () 
方法 插入 到 指定 位 置 ， 语 句 如 下 : 











worksheet.insert chart ('A7', chart) # 在 A7 单 元 格 插入 图 表 





下 面 介绍 chart 类 的 几 个 常用 方法 。 


chart.add series (options) 方法 ， 作 用 为 添加 一 个 
数据 系列 到 图 表 ， 参 数 options (dict 类 型 ) 设置 图 
表 系 列 选项 的 字典 ， 操 作 示 例如 下 : 





chart.add series (( 


'categories': '=Sheet1! $A$1: $A$5', 
'values': 'zSheeti1! $B$1: $B$5', 
' line': {'color': ‘red'}, 


p 





add_series 方 法 最 常用 的 三 个 选项 为 categories、 
values、line， 其 中 categories 作 为 是 设置 图 表 类 别 标 
窒 郊 围 ，values 为 设置 图 表 数 据 范 围 ，line 为 设置 图 
表 线 条 属性 ， 包 括 颜 色 、 宽 上 度 等 。 


其 他 第 用 方法 及 示例 。 


“set x axis (options) 方法 ， 设 置 图 表 X 轴 选项 ， 示 
例 代码 如 下 ， 效 果 图 如 图 3-7 所 示 。 





chart.set x axis (( 
'name': ‘Earnings per Quarter', # 设 置 X 轴 标题 名 称 
'name font': {'size': 14, 'bold': True). # 设 置 X 轴 标题 
字体 属性 


'num font':  {'italic': True }, # 设 置 X 轴 数字 字体 属性 


10 7 
8 4 8 Series1 
6 ] E Series2 
v E Series3 
' i 
0 + T - - 
1 2 3 4 5 


Earnings per Quarter 


p 





图 3-7 设置 图 表 X 轴 选项 


'set size (options) JYE, KARIKAD, W 
chart.set_size ({'width': 720, 'height: 576}) ， 其 
中 width 为 宽度 ，height 为 高 度 。 


‘set_title Coptions) 方法， 设置 图 表 标 题 ， 如 


chart.set title C('name': "Year End Results']) , X 


图 如 图 3-8 所 示 。 


Year End Results 








E Series1 





8 Series2 


5 Series3 








图 3-8 ”设置 图 表 标 题 


‘set_style (style_id) 方法 ， 设 置 图 表 样 式 ，style_id 
为 不 同 数字 则 代表 不 同样 式 ， 如 
chartset style (37) ， 效 果 图 如 图 3-9 所 示 。 











B Series1 








WB Series2 








D Series3 











图 3-9 ”设置 图 表 样式 


set_table (options) 方法 ， 设 置 X 轴 为 数据 表格 形 
tu, Jlchartset table © ， 效 果 图 如 图 3-10 所 示 。 


addi 


Series1 


B Series1 


B Series2 





™ Series3 
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Series2 | 2 4 | 6 8 
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Series3 


图 3-10 ”设置 X 轴 为 数据 表格 形式 
3.1.2 SEER: 定制 自动 化 业务 流量 报表 周报 


本 次 实践 通过 定制 网 站 5 个 频道 的 流量 报表 周报 ， 
通过 XlsxWriter 模 块 将 流量 数据 写 入 Excel 文 档 ， 同 
时 目 动 计算 各 频道 周平 均 流 量 ， 青 生成 数据 图 表 。 
具体 是 通过 

workbook.add chart C('type': 'column'}) 方法 指定 
图 表 类 型 为 柱 形 ， 使 用 write_row、write_column 方 
法 分 别 以 行 、 列 方式 写 入 数据 ， 使 用 

add format (©) 方法 定制 表 头 、 表 体 的 显示 风格 ， 
ft FHadd series O 方法 将 数据 添加 到 图 表 ， 同 时 使 


用 chart.set size. set title, set y axisi BARNA 
小 及 标题 属性 ， 最 后 通过 insert_chart 方 法 将 图 表 插 
入 工作 表 中 。 我 们 可 以 结合 2.3 节 的 内 容 来 实现 周报 
的 邮件 推送 ， 本 示例 略 去 此 功能 。 实 现 的 代码 如 
下 : 


【/home/test/XlsxWriter/simple2.py】 





#coding: utf-8 


import xlsxwriter 

















workbook = xlsxwriter.Workbook ('chart.xlsx') # 创 建 一 个 
Excel 文 件 

worksheet = workbook.add worksheet () # 创 建 一 个 工作 表 对 象 
chart = workbook.add chart ({'type': '‘column'}) # 创 建 一 个 
图 表 对 象 

# 和 定义 数 据 表 头 列表 

title = [u' 业 务 名 称 '，u' 星 期 一 '"，u' 星 期 二 '，u' 星 期 三 '"，u' 星 期 四 '， 

















u' 星 期 五 '，u' 星 期 六 '，u' 星 期 日 '，u' 平 均 流 量 '] 


buname- [u' 业 务 官网 '"，u' 新 闻 中 心 '，u' 购物 频道 '，u' 体 育 频道 '"，u' 亲子 
频道 '] 定义 频道 名 称 


# 定 义 5 频 道 一 周 7 天 流量 数据 列表 




















data = [ 
[150, 152, 158, 149, 155, 145, 148], 
[89, 88, 95, 93, 98, 100, 99], 
[201, 200, 198, 175, 170, 198, 195], 
[75, 77, 78, 78, 74, 70, 79], 


[88, 85, 87, 90, 93, 88, 84], 


] 
format-zworkbook.add format ©) # 定 义 format 格 式 对 象 








format.set border (1) # 定 义 format 对 象 单元 格 边框 加 粗 (1 像素 ) 的 
格式 


format title-workbook.add format () # 定 义 format_title 格 式 对 
象 








format title.set border (1) # 定 义 format_title 对 象 单元 格 边框 加 
TH (1 像素 ) 的 格式 


format title.set bg color ('#cccccc') # 定 义 format_title 对 象 
单元 格 背景 颜色 为 














#'#ceccccc! West 











format title.set align ('center') # 定 义 format_title 对 象 单元 
格 居中 对 齐 的 格式 

format title.set bold © # 定 义 format_title 对 象 单元 格 内 容 加 粗 
的 格式 

format_ave=workbook.add_format () # 定 义 format_ave 格 式 对 象 
format ave.set border (1) #eE X format ave» moe EH 








(1 像素 ) 的 格式 


format _ave .set_num_format ('0.00' ) # 定 义 format_ave 对 象 单元 格 
数字 类 别 显示 格式 


# 下 面 分 别 以 行 或 列 写 入 方式 将 标题 、 业 务 名 称 、 流 量 数据 写 入 起 初 单元 格 ， 同 时 
引用 不 同 格式 对 象 














worksheet.write row ('A1', title, format title) 
worksheet.write column ('A2', buname, format) 
worksheet.write row ('B2', data[0]. format) 
worksheet.write row ('B3', data[1]. format) 
worksheet.write row ('B4', data[2]. format) 


worksheet.write row ('B5', data[3]. format) 


worksheet.write row ('B6', data[4]. format) 


# 定 义 图 表 数 据 系列 函数 








def chart series (cur_row) : 
worksheet.write formula ('I'-cur row, \ 


'ZAVERAGE (B'+cur_row+': H'+cur_row+') ', format ave) 
# 计 算 (AVERAGE 函 数 ) 频 
















































































Hi 
周平 均 流 量 
chart.add series (( 
'categories': '=Sheeti! $B$1: $H$1', # 将 “星期 一 至 星 
期 日 ”作为 图 表 数 据 标 签 (X 轴 ) 
"Values ' : '=Sheet1! $B$'+cur_row+': 
$H$'+cur_row, # 频 道 一 周 所 有 数据 作 
# 为 数据 区 域 
'line': {'color': "black'k # 线 条 颜色 定义 为 
black (黑色 ) 
'name': '=Sheet1! $A$'+cur_row, # 引 用 业务 名 称 为 图 例 
项 
p 
for row in range (2, 7): # 数 据 域 以 第 2~6 行 进行 图 表 数 据 系 列 函数 
调用 
chart_series (str (row) ) 
#chart.set_table () # 设 置 X 轴 表格 格式 ， 本 示例 不 启用 
#chart.set_style (30) # 设 置 图 表 样 式 ， 本 示例 不 启用 
chart.set size (('width': 577, 'height': 287}) # 设 置 图 表 
大 小 
chart.set title ({'name': uU' 业 务 流量 周报 图 表 '}) # 设 置 图 表 














CEA) 大 标题 


'Mb/s'}) # 设 置 y 轴 ( 左 侧 ) 小 标题 
chart) # 在 A8 单 元 格 插入 图 表 


chart.set y axis ({'name': 
worksheet.insert chart ('A8', 


workbook.close () EX BIExcelxfi 





上 述 示例 将 创建 一 个 如 图 3-11 所 示 的 工作 表 。 
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参考 提示 。 3.4.1 节 XlsxWrite 模 块 的 常用 类 


与 方法 说 明 参 考官 网 


http://xlsxwriter.readthedocs.org - 


3.2 ”Python 与 rrdtoo] 的 结合 模块 


rrdtool (round robin database) 工具 为 环 状 数据 库 的 
存储 格式 ，round robin 是 一 种 处 理 定 量 数据 以 及 当 
前 元 素 指 针 的 技术 。rrdtool 主 要 用 来 跟踪 对 象 的 变 
化 情况 ， 生 成 这 些 变 化 的 走势 图 ， 比 如 业务 的 访问 
流量 、 系 统 性 能 、 磁 盘 利 用 率 等 趋势 岁 ， 很 多 流行 
监控 平台 都 使 用 到 rrdtool， 比 较 有 名 的 为 Cacti、 
Ganglia、Monitorix 等 。 更 多 rrdtool 介 绍 见 官网 
http://oss.oetiker.ch/rrdtool/. rrdtool — 8 48 HY L- 
具 ， 涉 及 较 多 参数 概念 ， 本 节 主 要 通过 Python 的 
rrdtool 模 块 对 rrdtool 的 几 个 第 用 方法 进行 封闭， 包 
括 create、fetch、graph、info、update 等 方法 ， 本 节 
对 rrdtool 的 基本 知识 不 展开 说 明 ， 重 点 放 在 Python 
rrdtool 模 块 的 党 用 方法 使 用 介绍 上 。 


rrdtool 模 块 的 安装 方法 如 下 : 

















easy_install python-rrdtool #pip 安 装 方法 





pip install python-rrdtool #easy_install 安 装 方法 








# 需 要 rrdtoo1 工 具 及 其 他 类 包 支 持 ，Cent0S 环 境 推荐 使 用 yum 安 装 方法 


# yum install rrdtool-python 





3.2.1 “rrdtool 模块 常用 方法 说 明 
下 面 介 绍 rrdtool 模 块 常用 的 几 个 方法 ， 包 括 


create 〈 创 建 rd) . update 〈 更 新 rrd) ~ graph (22 
图 ) ~ fetch (查询 rrd) =. 


1.Create 方 法 


create filename[--start|-b start time][--step|-s step] 
[DS: ds-name: DST: heartbeat: min: max] 
[RRA: CF: xff: steps: rows] 方 法 ， 创 建 一 个 后 绥 
为 rrd 的 rrdtool 数 据 库 ， 参 数 说 明 如 下 : 


filename 创 建 的 rrdtoo] 数 据 库 文 件 名 ， 默 认 后 绥 
为 .rrd; 


-start 指 定 rrdtool 第 一 条 记录 的 起 始 时 间 ， 必 须 是 
timestamp 的 格式 ; 


-step 指 定 rrdtool 每 隔 多 长 时 间 束 收 到 一 个 值 ， 默 
认为 5 分 钟 ; 
“DS 用 于 定义 数据 源 ， 用 于 存放 脚本 的 结果 的 变 


里 








.DST 用 于 定义 数据 源 类 型 ，rrdtool 支 持 
COUNTER (递增 类 型 ) . DERIVE (可 递增 可 递 
减 类 型 ) . ABSOLUTE (假定 前 一 个 时 间 间 隔 的 值 
为 0， 再 计算 平均 值 ) 、GUAGE (〈 收 到 值 后 直接 存 
ARRA) 、COMPUTE (定义 一 个 表达 式 ， 引 用 DS 
并 自动 计算 出 某 个 值 ) 5 种 ， 比 如 网 卡 流量 属于 计 








数 需 型 ， 应 该 选择 COUNTER; 

'RRAH T E xe SHE on ey i, RATE WE A 

RRA 看 成 一 个 表 ， 保 存 不 同 间隔 的 统计 结果 数据 ， 
为 CEF 做 数据 合并 提供 依据 ， 定 义 格式 为 : [RRA: 


CF: xff: steps: rows]; 


.CE 统计 合并 数据 ， 支 持 AVERAGE (平均 值 ) 、 
MAX (最 大 值 ) ~ MIN (最 小 值 ) ~ LAST (最 新 
值 ) 4 种 方式 。 


2.update 方 法 





update filename[--template|-t ds-name[: ds- 
name|...]N|timestamp: value[: value...|[timestamp: 
value[: value...].…] 方 法 ， 存 储 一 个 新 值 到 rrdtoo] 数 
据 库 ，updatev 和 update 类 似 ， 区 别 是 每 次 插入 后 会 
返回 一 个 状态 码 ， 以 便 了 解 是 否 成 功 (updatev 用 0 
表示 成 功 ，-1 表 示 失 败 ) 。 人 参数 说 明 如 下 : 


:filename 指 定 存 储 数 据 到 的 目标 rrd 文 件 名 ; 
--tds-name[: ds-name] 指 定 需要 更 新 的 DS 名 称 ; 


NITimestamp 表 示 数 据 采 集 的 时 间 惟 ，N 表 示 当 前 
EIE 


.value[: value...] 更 新 的 数据 值 ， 多 个 DS 则 多 个 
值 。 


3.graph77 7X: 


graph filename[-s|--start seconds |[-e|--end seconds ]||-x|- 
-X-grid x-axis grid and label][-y|--y-grid y-axis grid and 
label |[--alt-y-grid |[ --alt-y-mrtg ][--alt-autoscale][--alt- 
autoscale-max ][--units-exponent |value|-v|--vertical- 
label text][-w|--width pixels |[-h|--height pixels ][-i|-- 
interlaced][-f|--imginfo formatstring ][-a|--imgformat 
GIF|PNG|GD]|[-B|--background value ][-O|--overlay 
value |[-U|--unit value][-z|--lazy ]| -o|--logarithmic |[-u|-- 
upper-limit value][-1|--Iower-limit value][-g|--no- 
legend]|-r|--rigid][--step value][-b|--base value]|-c|-- 
color COLORTAG#rrggbb][-t|--title title ][DEF: 
vname-rrd: ds-name: CF][CDEF: vname-rpn- 
expression]|[PRINT: vname: CF: format] 

[GPRINT: vname: CF: format]|COMMENT: text] 
[HRULE: value#rrggbb[: legend]][VRULE: 
time#rrggbb[: legend]][LINE{1|2|3}: 
vname[Zrrggbb[: legend]]][ AREA: 

vname[Zrrggbb[: legend]]][STACK: 

vname[Zrrggbb[: legend]]] 方 法 ， 根 据 指定 的 rrdtool 
数据 库 进 行 绘图 ， 关 键 参数 说 明 如 下 : 


filename 指 定 输出 图 像 的 文件 名 ， 默 认 是 PNG 格 
A 


--start 指 定 起 始 时 间 ; 


--end 指 定 结束 时 间 ; 

--X-grid 控 制 X 轴 网 格 线 刻 度 、 标 签 的 位 置 ; 
--y-grid 控 制 Y 轴 网 格 线 刻 度 、 标 签 的 位 置 ; 
'--Vertical-label 指 定 Y 轴 的 说 明文 字 :; 

--width pixels 指 定 图 表 宽 上 度 〈 像 素 ) ; 
--height pixels 4E RIRA RR) ; 
--imgformat 指 定 图 像 格式 〈GIFIPNGIGD) ; 


`--background 指 定 图 像 背 景 闫 色 ， 支 持 #rrggbb 表 示 
法 ; 


--Upper-limit 指 定 Y 轴 数据 值 上 限 ; 
--lower-limit 指 定 Y 轴 数据 值 下 限 ; 
.--no-legend 取 消 图 表 下 方 的 图 例 ; 

-rigid 严 格 按照 upper-limit 与 lower-limit 来 绘制 |; 
--title 图 表 顶 部 的 标题 ; 


:DEF: vname=rrd: ds-name: CF 指定 绘图 用 到 的 数 
据 源 ; 


'CDEF: vname=rpn-expression 合 并 多 个 值 ; 








:GPRINT: vname: CF: format 图 表 的 下 方 输出 最 
大 值 、 最 小 值 、 平 均值 等 ; 


:COMMENT: text 指 定 图 表 中 输出 的 一 些 字符 串 ; 


HRULE: value#rrggbb 用 于 在 图 表 上 面 绘制 水 平 
线 ; 


"VRULE: time#rrggbb 用 于 在 图 表 上 和 面 绘制 垂直 
线 ; 


:LINE{1|2|3}: vname 使 用 线条 来 绘制 数据 图 表 ， 
{1|2|3} 表 示 线 条 的 粗细 ; 


"AREA: vname 使 用 面积 图 来 绘制 数据 图 表 。 
4.fetch 方 法 











fetch filename CF[--resolution|-r resolution |[--start|-s 
start][--end|-e end] 方 法 ， 根 据 指定 的 rrdtool 数 据 库 进 
行 查 询 ， 关 键 参数 说 明 如 下 : 


filename 指 定 要 查询 的 rrd 文 件 名 ; 


:CF 包括 AVERAGE、MAX、MIN、LAST， 要 求 必 
须 是 建 库 时 RRA 中 定义 的 类 型 ， 否 则 会 报错 ; 


--starft-end 指 定 查询 记录 的 开始 与 结束 时 间 ， 默 认 
可 省 略 。 





3.2.0 KER: 实现 网 卡 流量 图 表 绘 制 


在 日 常 运 营 工 作 当 中 ， 观 察 数据 的 变化 趋势 有 利于 
了 解 我 们 的 服务 质量 ， 比 如 在 系统 监控 方面 ， 网 络 
流量 趋势 网 直接 展现 了 当前 网 络 的 行 吐 。CPU、 内 
存 、 役 盘 空 间 利 用 率 趋 势 则 反映 了 服务 器 运行 健康 
状态 。 通 过 这 些 数 据 图 表 管 理 员 可 以 提前 做 好 应 急 
预案 ， 对 可 能 存在 的 风险 点 做 好 防范 。 本 次 实践 通 
过 rrdtool 模 块 实现 服务 器 网 卡 流量 趋势 图 的 绘制 ， 
即 先 通过 create 方 法 创建 一 个 rrd 数 据 库 ， 再 通过 
update 方 法 实现 数据 的 写 入 ， 最 后 可 以 通过 graph 方 
法 实现 图 表 的 绘制 ， 以 及 提供 last、first、info、 
fetch 方 法 的 查询 。 图 3-12 为 rrd 创 建 到 和 输出 图 表 的 过 


H 
RE 
create ITd update rrd query rrd 





















图 3-12 创建、 更 新 rrd 及 输出 图 表 流 程 


第 一 步 ”采用 create 方 法 创建 rd 数据 库 ， 参 数 指定 
了 一 个 rrd 文 件 、 更 新 频率 step、 起 始 时 间 --start、 数 
据 源 DS、 数 据 源 类 型 DST、 数 据 周期 定义 RRA 等 ， 
详细 源码 如 下 : 


[ /home/test/rrdtool/create.py ] 





# -*- coding: utf-8 -*- 
#! /usr/bin/python 
import rrdtool 

import time 


cur time-str (int (time.time © ) ) # 获 取 当 前 Linux 时 间 惟 作为 
rrd 起 始 时 间 


# 数 据 写 频 率 - -step 为 309 秒 〈 即 5 分 钟 一 个 数据 点 ) 


rrd-rrdtool.create ('Flow.rrd', '--step', '300', '--start', 
cur time, 


定义 数据 源 eth9_in (入 流量 ) . ethO out (出 流量 ) ; 类 型 都 为 
COUNTER (递增 ); 600 秒 为 心跳 值 ， 

















# 其 含义 是 600 秒 没有 收 到 值 ， 则 会 用 UNKNOWN 代 苦 ，0 为 最 小 值 ， 最 大 值 用 U 代 
蔡 ， 表 示 不 确定 

















'DS: ethO in: COUNTER: 600: 0: U', 
'DS: ethO out: COUNTER: 600: 0: U', 


#RRA 定 义 格式 为 [RRA: CF: xff: steps: rows], CF3E X f AVERAGE. 
MAX、MIN 三 种 数据 合并 方式 


#xff 定 义 为 6,5， 表 示 一 个 CDP 中 的 PDP 值 如 超过 一 半 值 为 UNKNOWN， 则 该 CDP 
的 值 就 被 标 为 UNKNOWN 


# 下 列 前 4 个 RRA 的 定义 说 明 如 下 ， 其 他 定义 与 AVERAGE 方 式 相 似 ， 区 别 是 存 最 大 
值 与 最 小 值 


# 每 隔 5 分 钟 (1*300 秒 ) 存 一 次 数据 的 平均 值 ， 存 600 笔 ， 即 2.08 天 














T 





# 每 隔 30 分 钟 (6*300 秒 ) 存 一 次 数据 的 平均 值 ， 存 700 笔 ， 即 14.58 天 (2 
周 ) 


# 每 隔 2 小 时 (24*300 秒 ) 存 一 次 数据 的 平均 值 ， 存 775 笔 ， 即 64.58 天 (2 个 
月 ) 


# 每 隔 24 小 时 (288*300 秒 ) 存 一 次 数据 的 平均 值 ， 存 797 笔 ， 即 797 天 (2 
) 


'RRA: AVERAGE: 0.5: 1: 600', 
'RRA: AVERAGE: 0.5: 6: 700', 
'RRA: AVERAGE: 0.5: 24: 775', 
'RRA: AVERAGE: 0.5: 288: 797', 
'RRA: MAX: 0.5: 1: 600', 
'RRA: MAX: 0.5: 6: 700', 
'RRA: MAX: 0.5: 24: 775', 
'RRA: MAX: 0.5: 444: 797', 
'RRA: MIN: 0.5: 1: 600', 
'RRA: MIN: 0.5: 6: 700', 
'RRA: MIN: 0.5: 24: 775', 
"RRA: MIN: 0.5: 444: 797') 
if rrd: 


print rrdtool.error () 





第 二 步 ” 采 用 updatev 方 法 更 新 rrd 数 据 库 ， 参 数 指 
定 了 当前 的 Linux 时 间 戳 ， 以 及 指定 eth0_in、 
eth0_out 值 〈 当 前 网 卡 的 出 入 流量 ) ， 网 卡 流量 我 
们 通过 psutil 模 块 来 获取 ， 如 

psutil.net io counters © [1] 为 入 流量 ， 关 于 psutil 模 
块 的 介绍 见 第 1.1。 详 细 源 码 如 下 : 


[/home'/test/rrdtool/update.py ] 





# -*- coding: utf-8 -*- 
#! /usr/bin/python 
import rrdtool 

import time, psutil 


total input traffic = psutil.net io counters () [1] # 获 取 网 
卡 入 流量 


total output traffic = psutil.net io counters () [0] # 获 取 
网 卡 出 流量 





starttime-int (time.time () ) # 获 取 当 前 Linux 时 间 戳 


# 将 获取 到 的 三 个 数据 作为 Updatev 的 参数 ， 返 回 {'return_value': ”0L} 则 说 
明 更 新 成 功 ， 反 之 失败 

update-rrdtool.updatev ('/home/test/rrdtool/Flow.rrd', '%s: 
%S: %s' 96 (str (starttime) , str (total input traffic), 

str (total output traffic) ) ) 


print update 








将 代码 加 入 crontab， 并 配置 5 分 钟 作 为 采集 频率 ， 
crontab 配 置 如 下 : 





*/5b * * * * /usr/bin/python /home/test/rrdtool/update.py > 
/dev/null 2>&1 





第 三 步 ”采用 graph 方 法 绘制 图 表 ， 此 示例 中 关键 
参数 使 用 了 --x-grid 定 义 X 轴 网 格 刻度 DEF 指定 数 
据 源 ， 使 用 CDEF 合 并 数据 HRULE 绘 制 水 平 线 
(告警 线 ) ; GPRINT 输 出 最 大 值 、 最 小 值 、 平 均 
值 等 。 详 细 源 码 如 下 : 


[/home'/test/rrdtool/graph.py ] 





# -*- coding: utf-8 -*- 
#! /usr/bin/python 
import rrdtool 

import time 


# 定 义 图 表 上 方 大 标题 








title="Server network traffic flow ("+time.strftime ('%Y- 
y%m-%d', \ 


time.localtime (time.time ©) ) ) +") " 


#E Af" --x-grid", "MINUTE: 12: HOUR: 1: HOUR: 1: 0: %H" 人 参数 的 作 
用 《从 左 往 右 进行 分 解 ) 


“MINUTE: 127 表 示 控 制 每 隔 12 分 钟 放 置 一 根 次 要 格 线 




















“HOUR: 1 表示 控制 每 隔 1 小 时 放置 一 根 主要 格 线 














"HOUR: 417 表示 控制 1 个 小 时 输出 一 个 Labe1 标 签 
“OQ: %H”0 表 示 数 字 对 齐 格 线 ，%H 表 示 标 签 以 小 时 显示 


rrdtool.graph ( "Flow.png", "--start", "-1d", "--vertical- 
label=Bytes/s", \ 


"--x-grid", "MINUTE: 12: HOUR: 1: HOUR: 1: ©: %H", \ 




















"..width", "650", "--height", "230", "--title", title, 

"DEF: inoctets-Flow.rrd: ethO in: AVERAGE", # 指 定 网 卡 入 流量 
数据 源 DS 及 CF 

"DEF: outoctets-Flow.rrd: ethO out: AVERAGE", # 指 定 网 卡 出 流 
量 数据 源 DS 及 CF 

"CDEF: total=inoctets, outoctets, +", # 通 过 CDEF 合 并 网 卡 出 入 流 





E 


量 ， 得 出 总 流量 total 

















"LINE1: total#FF8833: Total traffic", # 以 线条 方式 绘制 总 流量 





ju 





"AREA: inoctetsZOOFFO00: In traffic", 


"LINE1: outoctets#0000FF: Out traffic", 


"HRULE: 6144ZFF0000: Alarm value\\r", 


£k, BUf7J6.1k 


"CDEF: inbits-inoctets, 





结果 给 inbits 


"CDEF: outbits-outoctets, 





算 结 果 给 outbits 
"COMMENT: Nr", 


"COMMENT: Nr", 


"GPRINT: inbits: 


He 


E 


制 入 流量 平均 值 


" 
, 








"COMMENT: 


"GPRINT: inbits: 


制 入 流量 最 大 值 


n 








" 
, 


"COMMENT: 


"GPRINT: inbits: 


出 入 流量 最 小 值 


# 绘 和 








" 
, 


"COMMENT: 


MAX: Max In traffic\: 


MIN: MIN In traffic\: 


i=! 


xm TE 


8, : # 将 入 流 


由 | 





8, *" # 将 出 流 


# 以 面积 方式 


E. 
E 


给 








# 以 线条 方式 绘 


出 水 平 线 ， 作 为 告 








换算 成 bit， 即 *8 


H 





, 


# 在 网 格 下 方 输出 一 个 换行 符 


AVERAGE: Avg In trafficN: 


"GPRINT: outbits: AVERAGE: Avg Out traffic\: 


%Sbps", 


" 
, 


"COMMENT: 


"GPRINT: outbits: MAX: Max Out traffic\: 


绘 1 


出 出 流量 最 大 值 








" 
, 


"COMMENT: 


"GPRINT: outbits: MIN: MIN Out traffic\: 


%Sbps\\r") 


# 给 和 





# 绘 和 


判 出 流量 平均 值 





E, 
EH 


由 出 流量 最 小 值 


一 








%6.21f %Sbps", 


%6.21f %Sbps", 


?66.21f %Sbps\\r", 


966 .21f 


?66.21f %Sbps", 


966 .21f 


Itn 





换算 成 bit， 即 *8， 计 算 


T 


# 绘 


以 上 代码 将 生成 一 个 Flow.png 文 件 ， 如 图 3-13 所 
7e 


Q 提示 


查看 rrd 文 件 内 ENT IRS 数据 的 结构 、 更 新 等 情 
况 ，Irdtool 提 供 几 个 常用 命令 : 


"info 人 查看 rrd 文 件 的 结构 信息 ， 如 rrdtool info 


Flow.rrd: 


“first 人 查看 rrd 文 件 第 一 个 数据 的 更 新 时 间 ， 如 rrdtool 


first Flow.rrd; 


.last 碍 看 rrd 文 件 最 近 一 次 更 新 的 时 间 ， 如 rrdtool last 


Flow.rrd: 


:fetch 根 据 指 定时 间 、CF 查 询 rrd 文 件 ， 如 rrdtool 
fetch Flow.rrd AVERAGE. 














Server network traffic flow (2014-04-29) 





60 k 
50 k 
40 k 
- 
A 
. 
© 30k 
z 
a 
20 k 





10 k | ilj s. 
: nf Lin fn Bowl b 


N | j 
22 23 00 01 € (03 0| 05 O56 07 08 09 10 1i 102 103 M SS 16 HU WW 19 20 21 
E Total traffic W in traffic Bout traffic W Alare value 


Avg In traffic: 16,05 kbps Max In traffic: 35.21 kbps MIN In traffic: 0.67 kbps 
Avg Out traffic: 46.77 kbps Max Out traffic: 401.15 kbps MIN Out traffic: 2.65 kbps 





图 3-13 ”graph.py 执 行 输出 图 表 





参考 提示 。 3.2.1rrdtool 参 数 说 明 参 考 
http://bbs.chinaunix.net/thread-2150417-1-1.html 和 和 
http://oss.oetiker.ch/rrdtool/doc/index.en.html. 


3.89 ARIA AeA 


scapy (http://www.secdev.org/projects/scapy/) 是 一 
个 强大 的 交互 式 数 据 包 处 理 程序 ， 它 能 够 对 数据 包 
HEITER, GRRR ORR, ME 
和 上 反馈 匹配 等 功能 。 可 以 用 在 处 理 网 络 扫描 、 路 由 
跟踪 、 服 务 探 测 、 单 元 测试 等 方面 ， 本 节 主 要 针对 
scapy 的 路 由 跟 踩 功能， 实现 TCP 协 议 方式 对 服务 可 
用 性 的 探 圳 ， 比 如 第 用 的 80 (HTTP) 与 

443 (HTTPS) 服务 ， 并 生成 美观 的 路 由 线路 图 报 
表 ， 让 管理 员 清 晰 了 解 探 测 点 到 目标 主机 的 服务 状 
态 、 和 骨干 路 由 节点 所 处 的 IDC 位 置 、 经 过 的 运营 商 
路 由 节点 等 信息 。 下 面 详 细 进 行 介 绍 。 


scapy 模 块 的 安装 方法 如 下 : 

















# scapy 模 板 需 要 tcpdump 程 序 支持 ， 生 成 报表 需要 graphviz、ImageMagick 
图 像 处 理 包 支持 


























# yum -y install tcpdump graphviz ImageMagick 
# 源码 安装 


# wget http: //www.secdev.org/projects/scapy/files/scapy - 
2.2.0.tar.gz 


# tar -zxvf scapy-2.2.0.tar.gz 
# cd scapy-2.2.0 


# python setup.py install 


3.3.1 “模块 常用 方法 说 明 


scapy 模 块 提 供 了 众多 网 络 数 据 包 操作 的 方法 ， 包 括 
发 包 send() 、SYN\ACK 扫 描 、 嗅 探 sniff O ~ P 
包 wrpcap〈) 、TCP 路 由 跟踪 traceroute() 等 ， 本 
节 主 要 关注 服务 监控 内 容 接 下 来 详细 介绍 
traceroute © 方法 ， 其 具体 定义 如 下 : 


traceroute (target, dport-80, minttl-1, 
maxttl=30, sport=<RandShort>, l4-None; 
filter=None, timeout-2, verbose=None, **kargs) 


该 方法 实现 TCP 跟 踪 路 由 功能 ， 关 键 参数 说 明 如 
P: 


target: 跟 踊 的 目标 对 象 ， 可 以 是 域名 或 IP， 类 型 
为 列表 ， 文 持 同 时 指定 多 个 目标 ， 如 


["www.qq.com", "www.baidu.com", "www.google.c 


dport: HERO, 2$27g4]4e. x BH BES 
ving A, AH[80, 443]; 


‘minttl: 指定 路 由 跟 躁 的 最 小 跳 数 《市 点 数 ) ; 
‘maxttl: HERS HIRE ABA OTAZO o 
3.8.0 SEER: 实现 TCP 探 测 目标 服务 路 由 轨迹 
在 此 次 实践 中 ， 通 过 scapy 的 traceroute() 方法 实现 








探测 机 到 目标 服务 器 的 路 由 轨迹 ， 整 个 过 程 的 原理 
见 图 3-14， 首 先 通过 探测 机 以 SYN 方 式 进 行 TCP 服 
务 扫描 ， 同 时 启动 ttpdump 进 行 抓 包 ， 捕 获 扫 描 过 
程 经 过 的 所 有 路 由 点 ， 再 通过 graph O 方法 进行 路 
由 IP 轨 迹 绘制 ， 中 间 调 用 ASN 了 映射 查询 IP 地 理 信息 
并 生成 svg 流程 文 要 ， 最 后 使 用 ImageMagick 工 具 将 
svg 格式 转换 成 png， 流 程 结 


SYN #448 





"TTE 
路 由 节点 IP2 
路 由 节点 IP3 


路 由 节点 IP4 











SVG -> PNG 


图 3-14 TCP 探测 目标 服务 路 由 轨迹 原理 图 
本 次 实践 通过 traceroute () 方法 实现 路 由 的 跟踪 ， 








跟 踩 结 采 动态 生成 图 上 乒 格 式 。 功 能 实现 源码 如 下 : 
[/home/test/scapy/simple1.py ] 





4 -*- coding: utf-8 -*- 
import os, sys, time, subprocess 
import warnings. logging 


warnings.filterwarnings ("ignore", 
category-Deprecationwarning) # 屏 蔽 scapy 无 用 告警 信息 


logging.getLogger ("scapy.runtime") .setLevel (logging.ERROR) 
# 屏 蔽 模块 ITPv6 多 余 告警 


from scapy.all import traceroute 


domains - raw input ('Please input one or more IP/domain: 


O “# 接 受 输入 的 域名 或 IP 


target = domains.split (' ') 





dport = [80] # 扫 描 的 端口 列表 











if len (target) >= 1 and target[0]! ='': 


res, unans = traceroute (target, dport=dport, retry=-2) # 
启动 路 由 跟踪 

















res.graph (target="> test.svg") # 生 成 svg 矢量 图 形 











time.sleep (1) 


subprocess.Popen ("/usr/bin/convert test.svg test.png", 
shell-True) #svg 转 png 格 式 


else: 


print "IP/domain number of errors, exit" 











代码 运行 结 末 见 图 3-15,，“-” 表 示 路 由 节 扣 无 回应 或 


EHI. “11 表示 扫描 的 指定 服务 无 回应 ; “SA” 表 示 
扫 摘 的 指定 服务 有 回应 ， 一 般 是 最 后 一 个 主机 IP。 


Received 73 packets, got 39 answers, remaining 21 packets 
113.108.238.121:tcp80 180.96.12.11:tcp80 
192.168.1.1 192.168.1.1 
114.116.64.1 114.116.64.1 
10.145.209.20 ] 10.145.289.26 
10.144.12.74 10.145.209.25 
10.14.10.60 109.144.10.00 
19.144.10.206 19.144.19.206 
10.144.12.153 10.144.12.153 
10.83.64.1 10.83.64.1 
18.252.253.1 10.252.253.1 
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图 3-15 ”代码 运行 结果 
生成 的 路 由 轨迹 图 见 图 3-16〈 仅 局 部 ) ，“-” 将 使 用 
unk* 单 元 代替 ， 重 点 路 由 节点 将 通过 ASN 获 取 所 处 
的 运营 商 或 IDC 位 置 ， 如 
IP“202.102.69.210” 为 “CHINANET-JS-AS-AP AS 


Number for CHINANET jiangsu province backbone, 
CN" 意 思 为 该 了 了 所 处 中 国电 信 江 苏 省 骨干 网 。 
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图 3-16 ”路 由 轨迹 图 


通过 路 由 轨迹 图 ， 我 们 可 以 非常 清 晰 地 看 到 探测 局 
到 目标 节点 的 路 由 走 同 ， 运 营 商 时 第 会 做 路 由 节点 
A fl, | SEER EXE Ge FE AB HH ARR DL 

该 视图 可 以 帮助 我 们 了 解 到 这 个 信息 。 另 外 IE8 以 
上 及 chrome 浏 览 右 都 已 支持 SVG 格 式 文 件 ， 可 以 直 
接 浏 览 ， 无 需 转 换 成 png 或 其 他 格式 ， 可 以 轻松 整 
合 到 我 们 的 运营 平台 当中 。 








Q 参考 提示 3.3.1 节 scapy 方 法 参数 说 明 参 考 


http://www.secdev.org/projects/scapy/doc/usage.html . 


第 4 章 ”Python 与 系统 安全 


信息 安全 是 运 维 的 根本 ， 和 直接 关系 到 企业 的 安危 ， 
稍 有 不 慎 会 造成 灾难 性 的 后 末 。 比 如 近年 发 生 的 多 
个 知名 网 站 会 员 数 据 库 外 泄 事件 ， 为 外， 国内 知名 
漏洞 报告 平台 马云 也 频频 爆 出 各 大 门户 的 安全 漏 

il. HAE, fe SRE RE KOA FEF STATA 
有 的 高 度 。 如 何 提 升 企 业 的 安全 防范 水 准 是 目前 普 
所 面临 的 问题 ， 大 体 上 主要 分 以 下 几 个 方面 ， 包 括 
安全 设备 防护 、 提 高 人 员 安 全 意识 、 实 施 系 统 平台 
安全 加 固 、 安 全 规范 融合 到 ITIL 体 系 、 天 注 最 新 安 
全 及 展 动 癌 等 ， 通 过 上 述 几 个 方面 可 以 在 很 大 程度 
上 避免 出 现 安 全 事故 。 本 章 主要 讲述 如 何 通 过 

Python 来 实现 系统 级 的 安全 防范 胰 略 ， 包 括 构建 集 
中 式 的 病毒 扫 插 机 制 、 端 口 安全 扫 摘 、 安 全 密码 生 


成 等 


N 














41 构建 集中 却 的 病毒 扫描 机 制 


Clam AntiVirus (ClamAV) jE — 3X 491 f ASP 
代码 的 防毒 软件 ， 软 件 与 病毒 库 的 更 新 篆 由 社区 免 
SAC, B PHU: 

http://www.clamav.net/ang/en/. H ħi ClamAV X: E 7j 
Linux、Unix 系 统 提 供 病毒 扫描 、 查 杀 等 服务 。 
pyClamad (http://xael.org/norman/python/pyclamd/) 
是 一 个 Python 第 三 方 模块 ， 可 让 Python 直接 使 用 
ClamAV 病 毒 扫 描 守 护 进 程 camd， 来 实现 一 个 高 效 
的 病毒 检测 功能 ， 男 外 ，pyClamad 模 块 也 非常 容易 
整合 到 我 们 已 有 的 平台 当中 。 下 面 详细 进行 说 明 。 


pyClamad 模 块 的 安装 方法 如 下 : 














# 1、 客 户 端 〈 病 毒 扫描 源 ) 安装 步 双 

















# yum install -y clamav clamd clamav-update # 安 装 clamavp 相 
关 程 序 包 





# chkconfig --levels 235 clamd on # 添 加 扫描 守护 进程 clamd 系 统 
服务 


# /usr/bin/freshclam # 更 新 病毒 库 ， 建 议 配 置 到 crontab 中 定期 更 新 

















# setenforce 0 # 关 闭 SELinux， 避 免 远 程 扫描 时 提示 无 权限 的 问题 


# 更 新 守护 进程 监听 IP 配 置 文件 ， 根 据 不 同 环境 自行 修改 监听 的 
IP,，“0.0.0.0” 为 监听 所 有 主机 IP 














# sed -i -e '/ATCPAddr/{ s/127.0.0.1/0.0.0.0/; )' 
/etc/clamd.conf 


# /etc/init.d/clamd start # 启 动 扫描 等 护 进 程 

















# 2、 主 控 端 部 署 pyCLamad 环 境 步 又 


4 wget http: //xael.org/norman/python/pyclamd/pyClamd- 
0.3.4.tar.gz 


# tar -zxvf pyClamd-0.3.4.tar.gz 
# cd pyClamd-0.3.4 


# python setup.py install 





4.1.1 RRE HE SU 


pyClamad 提 供 了 两 个 关键 类 ， 一 个 为 
ClamdNetworkSocket O 类 ， 实 现 使 用 网 络 套 接 字 
操作 clamd; 另 一 个 为 ClamdUnixSocket () 类 ， 实 
现 使 用 Unix 套 接 字 类 操作 clamd。 两 个 类 定义 的 方 
法 完全 一 样 ， 本 节 以 ClamdNetworkSocket() 类 进 
行 说 明 。 

: init | (self, host='127.0.0.1', port-3310, 
timeout=None) 方法 ， 是 ClamdNetworkSocket 类 的 
初始 化 方法 ， 参 数 host 为 连接 主机 IP; 参数 port 为 连 
接 的 端口 ， 默 认为 3310， 与 /etcclamd.conf 配 置 文件 
中 的 TCPSocket 参 数 要 保持 一 致 : timeout 为 连接 的 
超时 时 间 。 


-contscan_file (self, file) 方法 ， 实 现 扫描 指定 的 
文件 或 目录 ， 在 扫描 时 发 生 错误 或 友 现 病毒 将 不 终 
止 ， 参 数 file 〈string 类 型 ) 为 指定 的 文件 或 目录 的 
绝对 路 径 。 














multiscan file (self, file) JE, MINS AMT 
指定 的 文件 或 目录 ， 多 核 环境 速度 更 快 ， 在 扫 摘 时 
发 生 错 误 或 发 现 病毒 将 不 终止 ， 参 数 fe (strings 
型 ) 为 指定 的 文件 或 目录 的 绝对 路 径 。 


-scan_file (self, file) 方法 ， 实 现 扫 描 指 定 的 文件 
或 目录 ， 在 扫描 时 发 生 错 误 或 发 现 病毒 将 终止 ， 参 
数 file 〈string 类 型 ) 为 指定 的 文件 或 目录 的 绝对 路 


径 。 

.Shutdown (self)〉 方 法， 实现 强制 关闭 dlamd 进 程 并 
iR HA. 

‘stats (self) 方法 ， 获 取 Clamscan 的 当前 状态 。 


‘reload (self) 方法 ， 强 制 重 载 camd 病 毒 特征 库 ， 
扫描 前 建议 做 reload 操 作 。 


-EICAR (self) 方法 ， 返 回 EICAR 测 试 字符 串 ， 即 
生成 具有 病毒 特征 的 字符 串 ， 便 于 测试 。 


4.1.2 KEk: 实现 集中 式 的 病毒 扫 接 


本 次 实践 实现 了 一 个 集中 云 的 病毒 扫描 管理 ， 可 以 
Io AS IE] MEA NB FE tll SAT e. EE SY AR 
描述 模式 、 扫 描 路 径 、 调 度 频 率 等 。 示 例 实现 的 架 
构 见 图 4-1， 痛 先 业 务 服 务 费 开局 clamd 服 务 〈 监 听 
3310%m I) ， 管 理 服 务 右 局 用 多 线程 对 指定 的 服务 























集群 进行 扫描 ， 扫 擅 模 式 、 扫 摘 路 径 会 传递 到 
clamd， 最 后 返回 扫 摘 结果 给 管理 服务 器 冰 。 






扫描 方式 ; multiscar_file 
HERI: /data/www 


管理 服务 器 〈 启动 多 线程 ) 





业务 服务 器 集 器 (cland: 3310) 
图 4-1 ”集群 病毒 扫 摘 以 构图 
本 次 实践 通过 ClamdNetworkSocket () 方法 实现 与 
业务 服务 器 建立 扫描 socket 连 接 ， 再 通过 启动 不 同 
扫 擅 方式 实施 病毒 扫描 并 返回 结束 。 实 现代 码 如 
F: 


[/home/test/pyClamad/simple1.py ] 





4! /usr/bin/env python 

# -*- coding: utf-8 -*- 
import time 

import pyclamd 

from threading import Thread 
class Scan (Thread) : 


def _ init (self, IP, scan type. file): 





"BE TIE, Besa" 
Thread. init (self) 
self.IP - IP 

self.scan type-scan type 
self.file - file 
self.connstr="" 
self.scanresult="" 


def run (self) : 





weed 多 进程 Fun 方 法" n" 
try: 


cd - pyclamd.ClamdNetworkSocket (self.IP, 
3310) # 创 建 网 络 套 接 字 连接 对 象 








if cd.ping ©: # 探 测 连 通 性 





self.connstr=self.IP+" connection [OK]" 














cd.reload () # 重 载 cLlamd 病 毒 特征 库 ， 建 议 更 新 病 
毒 库 后 做 reload O 操作 





if self.scan type=="contscan_file": # 选 择 











不 同 的 扫描 模式 














self.scanresult=" 
{O}\n". format (cd.contscan_file (self.file) ) 


elif self.scan_type=="multiscan_file": 


self.scanresult=" 
{O}\n". format (cd.multiscan_file (self.file) ) 


elif self.scan_type=="scan_file": 


self.scanresult=" 
{O}\n". format (cd.scan_file (self.file) ) 


time.sleep (1) # 线 程 挂 起 1 秒 


else: 
self.connstr=self.IP+" ping error, exit" 
return 
except Exception, e: 


self.connstr=self.IP+" "+str (e) 




















IPs=['192.168.1.21', '192.168.1.22'] # 扫 描 主机 列表 












































scantype-"multiscan file" # 指 写 扫 描 模式 ， 文 持 multiscan_file、 
contscan file. scan file 

scanfile="/data/www" # 指 定 扫 描 路 径 

i-1 


threadnum-2 # 指 定 启动 的 线程 数 


scanlist = [] # 存 储 扫描 Scan 类 线程 对 象 列 表 























for ip in IPs: 


He 


currp = Scan (ip, scantype, scanfile) # 创 建 扫 描 Scan 类 对 
象 ， 参 数 CP, ARN, HHI) 


scanlist.append (currp) HIB JOE RBI e 





















































if i%threadnum==0 or i--len (IPs): # 当 达到 指定 的 线程 数 或 
IP 列 表 数 后 启动 、 退 出 线程 


for task in scanlist: 
task.start © # 启 动 线程 

for task in scanlist: 
task.join O # 等 待 所 有 子 线程 退出 ， 并 输出 扫描 


print task.connstr # 打 印 服务 器 连接 信息 











结果 
































print task.scanresult # 打 印 扫描 结果 











scanlist = [] 


i+=1 





通过 EICAR() 方法 生成 一 个 带 有 病毒 特征 的 文 
件 /tmp/EICAR， 代 码 如 下 : 





void = open ('/tmp/EICAR', 'w') ,write (cd.EICAR © ) 





生成 带 有 病毒 特征 的 字符 串 内 容 如 下 ， 复 制 文 
件 /tmp/EICAR 到 目标 主机 的 扫描 目录 当中 ， 以 便 进 
行 测试 。 





#cat /tmp/EICAR 


u'X50! P%@AP[4\\PZX54 (P^) 7CC) 7) $bEICAR-STANDARD - ANTIVIRUS- 
TEST-FILE! $H+H*' 





最 后 ， 局 动 扫描 程序 ， 在 本 次 实践 过 程 中 启用 两 个 

线程 ， 可 以 根据 目标 主机 数量 随意 修改 ， 代 码 运行 

结果 如 图 4-2， 其 中 192.168.1.21 主 机 没有 发 现 病 

毒 ，192.168.1.22 主 机 发 现 了 病毒 测试 文件 EICAR。 
[roote5N2013-08-020 pyClamad]# python simplel.py 


192.168.1.21 connection [OK] 
Nonc 


192.168.1.22 connection [OK] 
1u'/data/www/Lwebadmin/EICAR': ('FOUND', 'Eicar-lest-Signature' )} 


图 4-2 ”集中 式 病毒 扫 插 程序 运行 结 





名 4.1.1 节 pyClamad 模 块 方法 说 明 
参考 
http://xael.org/norman/python/pyclamd/pyclamd.html. 


42 SKIE SC HY i O FA HH as 


如 今 互 联网 安全 形势 日 趋 严峻 ， 给 系统 管理 员 斋 来 
很 大 的 挑战 ， 网 络 的 开放 性 以 及 黑客 的 攻击 是 造成 
网 络 不 安全 的 主因 。 和 稍 有 朴 急 将 给 黑客 价 来 可 滋 之 
机 ， 给 企业 带 来 无 法 弥补 的 损失 。 比 如 由 于 系统 管 
理 员 误 操作 ， 导 致 核心 业务 服务 器 的 22、21、 
3389. 330655 fay Sein A ake TE ARE, KO en 
了 被 入 侵 的 风险 。 因 此 ， 定 制 一 种 规避 此 安全 事故 
的 机 制 已 经 迫在眉睫 。 本 节 主 要 讲述 通过 Python 的 
第 三 方 模块 python-nmap 来 实现 高 效 的 端口 扫描 ， 
达到 发 现 异 党 时 可 以 在 第 一 时 间 发 现 并 处 理 ， 将 安 
全 风险 降 到 最 低 的 目的 。python-nmap 模 块 作为 
nmap 命 令 的 Python 封 狼 ， 可 以 让 Python 很 方便 地 操 
作 nmap 扫 摘 堪 ， 它 可 以 帮助 管理 员 完 成 自动 扫 摘 任 
务 和 生成 报告 。 


python-nmap 模 块 的 安装 方法 如 下 : 

















# yum -y install nmap # 安 装 nmap 工 具 
# 模块 源码 安装 


# wget http: //xael.org/norman/python/python-nmap/python- 
nmap-0.1.4.tar.gz 


# tar -zxvf python-nmap-0.1.4.tar.gz 
# cd python-nmap-0.1.4 


# python setup.py install 


4.2.1 模块 常用 方法 说 明 

本 节 介 绍 python-nmap 模 块 的 两 个 党 用 类 ， 一 个 为 
PortScanner () 类 ， 实 现 一 个 nmap 工 具 的 端口 扫描 
功能 封装 ; 另 一 个 为 PortScannerHostDict () 类 ， 
实现 存储 与 访问 主机 的 扫描 结果 ， 下 面 介 绍 
PortScanner () 类 的 一 些 和 常用 方法 。 





‘scan (self, hosts='127.0.0.1', ports=None, 
arguments="-sV') 方法 ， 实 现 指 定 主 机 、 端 口 、 
nmap 命 令 行 参 数 的 扫描 。 参 数 hosts 为 字符 串 类 型 ， 
表示 扫描 的 主机 地 址 ， 格 式 可 以 

用 “scanme.nmap.org”、“198.116.0-255.1- 
127”、“216.163.128.20/20” 表 示 ; 参数 ports 为 字符 
PRW, cositas L1, nIUAHI*22, 53, 110, 
143-4564” 来 表示 ; 参数 arguments 为 字符 串 类 型 ， 
表示 nmap 命 令 行 参数 ， 格 式 为 “-sU-sX-sC”， 例 
a: 








nm = nmap.PortScanner () 


nm.scan ('192.168.1.21-22', '22, 80') 





command line (self) 方法 ， 返 回 的 扫描 方法 映射 
到 具体 nmap 命 令 行 ， 如 : 





>>> nm.command line () 


u'nmap -oX - -p 22, 80 -sV 192.168.1.21-22' 





'scaninfo (self) 方法 ， 返 回 nmap 扫 摘 信 息 ， 格 式 





>>> nm.scaninfo () 


(u'tcp': {'services': u'22, 80', "'method': u'syn'}} 





:all hosts (self) 方法 ， 返 回 nmap 扫 摘 的 主机 清 





[u'192.168.1.21', u'192.168.1.22'] 





以 下 介绍 PortScannerHostDict O 类 的 一 些 常 用 方 
eee 


‘hostname (self) 方法 ， 返 回 扫描 对 象 的 主机 名 ， 
如 : 





>>> nm['192.168.1.22'].hostname © 


u'SN2013-08-022' 








‘state (self) 方法 ， 返 回 扫 描 对 象 的 状态 ， 包 括 4 种 
状态 Cup. down. unknown. skipped) ， 如 : 





>>> nm['192.168.1.22'].state © 


u'up' 





all protocols (self) 方法 ， 返 回 扫 摘 的 协议 ， 如 : 





>>> nm['192.168.1.22'].all protocols () 


[u'tcp'] 





all tcp © (self) 方法 ， 返 回 TCP 协 议 扫 摘 的 端 
LH, Til: 





>>> nm['192.168.1.22'].all tcp O 


[22. 80] 





‘tcp (self, port) 方法 ， 返 回 扫 摘 TCP 协 议 port《〈 英 
i" ) 的 信息 ， 如 : 





>>> nm['192.168.1.22'].tcp (22) 


('state': u'open', 'reason': u'syn-ack', 'name': u'ssh') 





4.2.2 SEN: 实现 高 效 的 端口 扫描 


本 次 实践 通过 python-nmap 实 现 一 个 高 效 的 端口 扫 
擅 工具 ， 与 定时 作业 crontab 及 邮件 告 营 结合 ， 可 以 
很 好 地 帮助 我 们 及 时 发 现 异 津 开放 的 高 危 问 口 。 当 








然 ， 该 工具 也 可 以 作为 业务 服务 端口 的 可 用 性 探 
测 ， 例 如 扫描 192.168.1.20-25 网 段 Web 服 务 端 口 80 
是 否 处 于 open 状 态 。 实 践 所 采用 的 scan ©) 方法 的 
arguments Zt 18 xe 7J"-v-PE-p-?m O”, -vz a Hi 
细节 模式 ， 可 以 返回 非 up 状 态 主机 清单 ;， -PE 表示 
采用 TCP 同 步 扫描 (TCP SYN) 方式 ; -p 指 定 扫 描 
病 口 范围 。 程 序 输 出 部 分 采用 了 三 个 for 循 环 体 ， 第 

- Ei D] T4358 ENL, BENEN, 第 三 层 为 
表 历 端口 ， 最 后 输出 主机 状态 。 具 体 实现 代码 如 
下 : 


[/home/test/python-nmap/simplel.py ] 








#! /usr/bin/env python 

# -*- coding: utf-8 -*- 

import sys 

import nmap 

scan row-[] 

input data = raw input ('Please input hosts and port: ') 
scan row - input data.split (" ") 

if len (scan row) ! =2: 


print "Input errors, example \"192.168.1.0/24 80, 443, 
22N" " 


sys.exit (0) 
hosts-scan row[0] # 接 收 用 户 输入 的 主机 
port-scan row[1] # 接 收 用 户 输入 的 端口 


try: 














nm = nmap.PortScanner () # 创 建 端口 扫描 对 象 











except nmap.PortScannerError: 
print ('Nmap not found', sys.exc info (D [0]) 
sys.exit (0) 

except: 
print ("Unexpected error: ", sys.exc info © [0]) 
sys.exit (0) 


try: 














# 调 用 扫描 方法 ， 参 数 指定 扫描 主机 hosts，nmap 扫 描 命 令 行 参数 
arguments 























N 


























nm.scan (hosts=hosts, arguments=' -v -SS -p '+port) 
except Exception, e: 


print "Scan erro: "+str (e) 






































for host in nm.all hosts O : # 遍 历 扫描 主机 
print ('------------------------------------------------- 
ana) 
print ('Host : %s (%S) ' 96 (host, 
nm[host].hostname O ) ) # 输 出 主机 及 主机 名 
print ('State : %s' % nm[host].state () ) # 输 出 主机 状 
态 ， 如 up、down 
for proto in nm[host].all protocols () : Th FAT IN, 
如 tcp、udp 
print ('---------- ') 
print ('Protocol : %s' 96 proto) # 输 入 协议 名 























lport = nm[host][proto].keys O # 获 取 协 议 的 所 有 扫描 
端口 


lport.sort O # 端 口 列 表 排 序 
for port in lport: # 遍 历 端口 及 输出 端口 与 状态 


print ('port : ?96sNtstate : %s' % (port, 
nm[host][proto][port]['state']) ) 





其 中 主机 输入 文 持 所 有 表达 方式 ， 如 
www.qq.com、192.168.1.*、192.168.1.1-20、 
192.168.1.0/24 等 ， 端 口 输入 格式 也 非常 灵活 ， 如 
80，443，22、80，22-443。 代 码 运 行 结果 如 图 4-3 
所 示 。 


[root8$N2013-08-020 python-nmap]# python simplel.py 
Please input hosts and port: 192.168.1.1-20 80,22,443 


Host : 192.168.1.1 () 
: up 


state : closed 
state : open 
state : closed 


> 192.168.1.10 © 
: down 


: 192.168.1.11 () 





图 4-3 EPRS Ym Ota 





参考 提示 。 4.2.1 节 python-nmap 模 块 方法 与 


参数 说 DES 5 http://xael.org/norman/python/python- 
nmap/。 不 例 源码 参考 官方 源码 包 中 的 example.py。 


$ $ $ 
i k kb dh 


J 
Co 
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第 5 章 ”系统 批量 运 维 官 理 右 pexpect 详 解 


pexpect 可 以 理解 成 Linux 下 的 expect 的 Python 封 装 ， 
通过 pexpect 我 们 可 以 实现 对 ssh、ftp、passwd、 
telnet 等 命令 行进 行 目 动 交互 ， 而 无 需 人 工 干 涉 来 达 
到 目 动 化 的 目的 。 比 如 我 们 可 以 模拟 一 个 FIP 登录 
时 的 所 有 交互 ， 包 括 输入 主机 地 址 、 用 户 名 、 密 
码 、 上 传 文件 等 ， 待 出 现 民 和音 我 们 还 可 以 进行 符 试 
自动 处 理 。pexpect 的 官网 地 址 : 
http://pexpect.readthedocs.org/en/latest/, FH gie hix 
本 为 3.0。 





5.1 pexpect 的 安装 
pexpect 作 为 Python 的 一 个 普通 模块 ， 文 持 pip、 


easy_install 或 源码 安装 方式 ， 具 体 安装 命令 如 下 
(根据 用 户 环 境 ， 目 行 选择 pip 或 easy_install): 





pip install pexpect 


easy_install pexpect 





天 于 源码 安装 ， 笔 者 采用 了 GitHub 平 台 的 项 目 托 管 
Vi, BRA PRM P: 





#wget 

https: //github.com/pexpect/pexpect/releases/download/3.0/pexper 
3.0.tar.gz -0 pexpect-3.0.tar.gz 

#tar -zxvf pexpect-3.0.tar.gz 

#cd pexpect-3.0 


#python setup.py install 








MS RAR FARRA EAN HE VU Bt HY UE 
成 功 : 





# python 
Python 2.6.6 (r266: 84292, Jul 10 2013, 22: 48: 45) 


[GCC 4.4.7 20120313 (Red Hat 4.4.7-3) ] on linux2 


Type "help", "copyright". "credits" or "license" for more 
information. 


>>> import pexpect 


>>> 





一 个 简单 实现 SSH 自 动 登录 的 示例 如 下 : 





import pexpect 


child = pexpect.spawn ('scp foo user@example.com: .') #Spawn 


启动 scp 程 序 





child.expect ('Password: ') #expect 方 法 等 待 子 程序 产生 的 输出 ， 判 断 
是 否 匹 配 定义 的 字符 串 








Z'Password: ' 


child.sendline (mypassword) # 匹 配 后 则 发 送 密码 串 进行 回应 








5.2 ”pexpect 的 核心 组 件 


下 面 介 绍 pexpect 的 几 个 核心 组 件 包括 spawn 类 、run 
洒 数 及 派生 类 pxssh 等 的 定义 及 使 用 方法 。 


5.2.1 spawn% 


spawn 古 pexpect 的 主要 类 接口 ， 功 能 是 启动 和 控制 
于 应 用 程序 ， 以 下 是 它 的 构造 函数 定义 : 








class pexpect.spawn (command, args=[], timeout=30， 
maxread=2000, searchwindowsize=None, logfile=None, 
cwd=None, env=None, ignore_sighup=True) 





其 中 command 参 数 可 以 是 任意 已 知 的 系统 命令 ， 
如 





child = pexpect.spawn ('/usr/bin/ftp'O # 启 动 ftp 客 户 端 命令 


child = pexpect.spawn ('/usr/bin/ssh user@example.com') # 启 动 
ssh 远 程 连接 命令 








child = pexpect.spawn ('ls -latr /tmp') # 运 行 ]s 显 示 /tmp 目 录 内 容 
命令 








当 子 程序 需要 参数 时 ， 还 可 以 使 用 Python 列表 来 代 
BBB, Uli 





child = pexpect.spawn ('/usr/bin/ftp', [p 


child = pexpect.spawn ('/usr/bin/ssh', 
[ 'user@example.com' ]) 


child = pexpect.spawn (C'ls', ['-latr', '/tmp']) 








参数 timeout 为 等 竺 结果 的 超时 时 间 ; 参数 maxread 
为 pexpect 从 终端 控制 台 一 次 读 取 的 最 大 字 节 数 ， 
searchwindowsize 参 数 为 匹配 组 种 区 字符 串 的 位 
置 ， 默 认 是 从 开始 位 置 匹配 。 


需要 注意 的 是 ，pexpect 不 会 解析 shell 命 令 当 中 的 元 
字符 ， 包 括 重 定 同 “>”、 管 道人 或 通配符 “#*”， 当 
然 ， 我 们 可 以 通过 一 个 技巧 来 解决 这 个 问题 ， 将 存 
在 这 三 个 特殊 元 字符 的 命令 作为 /bin/bash 的 参数 进 
行 调用 ， 例 如 : 








child = pexpect.spawn ('/bin/bash -c "ls -1 | grep LOG > 
logs.txt"') 


child.expect (pexpect.EOF) 





我 们 可 以 通过 将 命令 的 参数 以 Python 列表 的 形式 进 
行 睿 换 ， 从 而 使 我 们 的 语法 变 成 更 加 清晰 ， 下 面 的 
代码 等 价 于 上 面 的 。 








shell cmd = 'ls -1 | grep LOG > logs.txt' 
child = pexpect.spawn ('/bin/bash', ['-c', shell cmd]? 


child.expect (pexpect.EOF) 


[a | 


有 时 候 调 试 代码 时 ， 项 望 获 取 pexpect 的 输入 与 输出 
言 足 ， 以 便 了 解 匹 配 的 情况 。pexpect 提 供 了 两 种 途 
径 ， 一 种 为 写 到 日 志文 件 ， 男 一 种 为 输出 到 标准 输 
出 。 写 到 日 志文 件 的 实现 方法 如 下 : 





child = pexpect.spawn ('some_command' ) 
fout = file ('mylog.txt', 'w') 


child.logfile = fout 





输出 到 标准 输出 的 方法 如 下 : 





child = pexpect.spawn ('some_command' ) 


child.logfile - sys.stdout 








下 面 为 一 个 完整 的 示例 ， 实 现 远 程 SSH 登 录 ， 登 录 
I E 并 通过 日 志文 件 
记录 所 有 的 输入 与 输出 。 





import pexpect 

import sys 

child = pexpect.spawn ('ssh root@192.168.1.21') 
fout = file ('mylog.txt', 'w') 

child.logfile = fout 

#child.logfile = sys.stdout 


child.expect ("password: ") 


child.sendline ("U3497DT32t") 
child.expect ('#') 
child.sendline ('ls /home') 


child.expect ('#') 





以 下 为 mylog.txt 日 志 内 容 ， 可 以 看 到 pexpect 产 生 的 
全 部 输入 与 输出 信息 。 





# cat mylog.txt 
root@192.168.1.21's password: U3497DT32t 
Last login: Tue Jan 7 23: 05: 30 2014 from 192.168.1.20 


[rootQSN2013-08-021 ~]# ls /home 


ls /home 

cc.py poster-0.8.1 

tarfile.tar.gz zipfile.zip 

default.tar.gz poster-0.8.1.tar.gz test.sh 

dev pypa-setuptools-c508be8585ab zipfile1.zip 





(1) expect 方 法 
expect 定 义 了 一 个 子 程序 输出 的 匹配 规则 。 


方法 定义 : expect (pattern, timeout—-1, 
searchwindowsize=—1 ) 


其 中 ， 参 数 pattern 表 示 字 符 嘻 、pexpect.EOF ( 指 问 


缓冲 区 尾部 ， 无 匹配 项 ) . pexpect.TIMEOUT (UL 
配 等 待 超时) 、 正 则 表达 式 或 者 前 面 四 种 类 型 组 成 
的 列表 〈List) ， 当 patter 为 一 个 列表 时 ， 且 不 止 

一 个 表 列 元 素 被 匹配 ， 则 返回 的 结果 是 子 程序 输出 
最 先 出 现 的 那个 元 素 ， 或 者 是 列表 最 左边 的 元 素 

(最 小 索引 ID ) , n: 











import pexpect 
child - pexpect.spawn ("echo 'foobar'") 


print child.expect (['bar', 'foo', 'foobar']D 














输出 : 1， 即 "foo ' 被 匹配 





参数 timeout 指 定 等 待 史 配 结果 的 超时 时 间 ， 单 位 为 
秒 。 当 超时 被 触发 时 ，expect 将 匹配 到 

pexpect. TIMEOUT; 参数 searchwindowsize 为 匹配 组 
种 区 字符 串 的 位 置 ， 默 认 是 从 开始 位 置 匹 配 。 


当 pexpect.EOF、pexpect.TIMEOUT 作 为 expect 的 列 
表 参 数 时 ， 匹 配 时 将 返回 所 处 列表 中 的 索引 ID， 例 
如 : 


index = p.expect (['good', 'bad', pexpect.EOF, 
pexpect . TIMEOUT ] ) 


if index == 0: 
do something (©) 


elif index -- 1: 


do something else () 
elif index -- 2: 
do some other thing () 
elif index -- 3: 
do something completely different () 


pM 


以 上 代码 等 价 于 


try: 
index = p.expect (['good', 'bad']) 
if index == 0: 
do something (©) 
elif index -- 1: 
do something else () 
except EOF: 
do some other thing () 
except TIMEOUT: 


do something completely different () 





expect 方 法 有 两 个 非常 棱 的 成 员 : before 与 after。 
before 成 员 保存 了 最 近 匹 配 成 功 之 前 的 内 容 ，after 
成 员 保 存 了 最 近 匹 配 成 功 之 后 的 内 容 。 例 如 : 

















import pexpect 


import sys 

child = pexpect.spawn ('ssh root@192.168.1.21') 
fout = file ('mylog.txt', 'w') 

child.logfile = fout 

child.expect (["password: "]) 

child.sendline ("980405") 

print "before: "+child.before 


print "after: "+child.after 


运行 结果 如 下 : 


before: root@192.168.1.21's 


after: password: 





(2) read 相 关 方 法 


下 面 这 些 输入 方法 的 作用 都 是 辣子 程序 友 送 啊 应 命 
令 ， 可 以 理解 成 代 答 了 我 们 的 标准 输入 键盘 。 





send (self, s) 发 送 命令 ， 不 回 车 
sendline (self, s='') 发 送 命令 ， 回 车 


sendcontrol (self, char) 发 送 控制 字符 ， 如 
child.sendcontrol ('c') 等 价 于 ”ctr1L+c7 





sendeof © 发 送 eof 





5.2.2. run 函数 


run 是 使 用 pexpect 进 行 封装 的 调用 外 部 命令 的 函 
数 ， 类 似 于 os.system 或 0s.popen 方 法 ， 不 同 的 是 ， 
使 用 ruan() 可 以 同时 获得 命令 的 输出 结果 及 命令 
HB. HEX: pexpectrun (command, 
timeout--1, withexitstatus=False, events=None, 
extra_args=None, logfile=None, cwd-None; 
env=None) . 


参数 command 可 以 是 系统 已 知 的 任意 命令 ， 如 没有 
写 绝 对 路 径 时 将 会 答 试 搜索 命令 的 路 径 ，events 是 
一 个 字典 ， 定 义 了 expect 及 sendline 方 法 的 对 应 关 
系 ，spawn 方 式 的 例子 如 下 : 














from pexpect import * 
child = spawn ('scp foo userQexample.com: .') 
child.expect (' (? i) password' ) 


child.sendline (mypassword) 











使 用 ran 函数 实现 如 下 ， 是 不 是 更 加 人 简洁、 精炼 
q 





from pexpect import * 


run ('scp foo user@example.com: .', events={' (? i) 
password': mypassword}) 


tee==4 


5.2.3 “pxssh 类 


pxssh 是 pexpect 的 派生 类 ， 针 对 在 ssh 会 话 操作 上 再 
做 一 层 封装 ， 提 供与 基 类 更 加 直接 的 操作 方法 。 





pxssh 类 定义 : 





maxread=2000， 


class pexpect.pxssh.pxssh (timeout=30， 
cwd=None, env=None) 


searchwindowsize=None, logfile=None, 





pxssh 和 常用 的 三 个 方法 如 下 : 

login © 建立 ssh 连 接 ; 

logout (©) WIE; 

‘prompt O) “FF ASHEN, HET SPD T TZ 


o 


下 面 使 用 pxssh 类 实现 一 ssh 连接 远程 主机 并 执行 

aD 命令 的 示例 。 O 方法 与 远程 主机 建 
并 连接 ， 再 通过 sendline © D cum 

ru prompt O 方法 等 待命 令 执 行 结 结束 目 出 现 系统 


D 


提示 符 ， 最 后 使 用 logout O 方法 断 开 连接 。 








[/home/test/pexpect/simple1.py ] 





import pxssh 


import getpass 


try: 





s = pxssh.pxssh O # 创 建 pxssh 对 象 S 

hostname = raw input ('hostname: ') 

username = raw input ('username: ') 

password = getpass.getpass ('please input password: ') 
# 接 收 密码 输入 





s.login (hostname, username, password) # 建 并 ssh 连 接 





s.sendline ('uptime') 4 运行 uptime 命令 

s.prompt () # 匹配 系统 提示 符 

print s.before # 打印 出 现 系 统 提 示 符 前 的 命令 输出 
s.sendline ('ls -1') 

s.prompt () 

print s.before 

s.sendline ('df') 

s.prompt © 

print s.before 


s.logout O # 断 开 Ssh 连 接 





except pxssh.ExceptionPxssh, e: 
print "pxssh failed on login." 


print str (e) 


5.3 ”pexpect 心 用 示例 


下 面 介 绍 两 个 通过 pexpect 实 现 自动 化 操作 的 示例 ， 

其 中 一 实现 FTP 协 议 的 Haa HR. 331 —4-JJSSH 
协 议 目 动 化 操作 ， 这 些 都 是 日 常 运 维 中 经 和 常 过 到 的 
场景 。 


5.3.1 ”实现 一 个 自动 化 FTP 操 作 


我 们 第 用 FTP 协 议 实 现 上 自动 化 、 集 中 式 的 文件 备 
份 ， 要 求 做 到 账号 登录 、 文 件 上 传 与 下 载 、 退 出 等 
实现 自动 化 操作 ， 本 示例 使 用 pexpect 模 块 的 
spawnu () 方法 执行 FTP 命 令 ， 通 过 expect O 方 
法 定义 匹配 的 输出 规则 ，sendline() 方法 执行 相 
关 FTP 交 互 命令 等 ， 详 细 源 人 码 如 下 : 


[/home/test/pexpect/simple2.py ] 











from _ future | import unicode literals # 使 用 unicode 编 码 
import pexpect 
import sys 


child = pexpect.spawnu ('ftp ftp.openbsd.org')  # 运 行 ftp 命 令 





child.expect (' (? i) name .*: ') # Q i) 表示 后 面 的 字符 串 正 则 匹 
配 忽略 大 小 写 


child.sendline ('anonymous')  # 输 入 ftp 账 号 信息 


child.expect (' (? i) password'O # 匹 配 密码 输入 提示 


child.sendline ('pexpectQsourceforge.net'O  # 输 入 ftp 密 码 
child.expect ('ftp» ') 


child.sendline ('bin')  # 启 用 二 进 制 传输 模式 





child.expect ('ftp» ') 
child.sendline ('get robots.txt')  # 下 载 robots .txt 文 件 


child.expect ('ftp» ') 














sys.stdout.write (child.before)  # 输 出 匹配 “ftp> “之 前 的 输入 与 输 
出 


print ("Escape character is '^]'.\n") 
sys.stdout.write (child.after) 
sys.stdout.flush © 


# 调 用 interact O 让 出 控制 权 ， 用 户 可 以 继续 当前 的 会 话 手工 控制 子 程序 ， 默 
AIA A FFE 











child.interact () 
child.sendline ('bye') 


child.close () 


运行 结果 如 下 : 


get robots.txt 
local: robots.txt remote: robots.txt 
227 Entering Passive Mode (129, 128, 5, 191, 197, 243) 


150 Opening BINARY mode data connection for 'robots.txt' (26 
bytes). 


226 Transfer complete. 


26 bytes received in 3.29 secs (0.01 Kbytes/sec) 


Escape character is '^]'. 





ftp»  # 调 用 interact © 控制 项 让 出 ， 用 户 可 以 手工 进行 交互 





5.3.2 ”远程 文件 自动 打包 并 下 载 

在 Linux 系 统 集群 运营 当中 ， 时 第 需要 批量 远程 执 
行 Linux 命 令 ， 并 且 双 同 同步 文件 的 操作 。 本 示例 
通过 使 用 spawn O 方法 执行 sh、scp 命 令 的 思路 来 
实现 ， 有 具体 实现 源码 如 下 : 


[ /home/test/pexpect/simple3.py ] 








import pexpect 
import sys 


ip-"192.168.1.21" #2 CAEL 





user="root" # 目 标 主机 用 户 
passwd="H6DSY#*$df32" # 目 标 主 机 密码 


target file-"/data/logs/nginx access.log" # 目 标 主 机 nginx 日 志文 
件 

child = pexpect.spawn ('/usr/bin/ssh', [usert+'@'+ip])  # 运 行 
ssh 命 令 

fout = file ('mylog.txt', 'w'O  # 输 入 、 输 出 日 志 写 入 mylog .txt 文件 
child.logfile = fout 

try: 


Iu Ar da 


child.expect (' (? i) password')  4Jif/password-E m, C? 
io 表示 不 区 别 大 小 写 





child.sendline (passwd) 


child.expect ('#') 


child.sendline ('tar -czf /data/nginx access.tar.gz 


'«target file) # 打 包 nginx 


# 日 志文 件 
child.expect ('#') 
print child.before 
child.sendline ('exit') 


fout.close () 




















except EOF: — # 和 定义 EOF 异 常 处 理 








print "expect EOF" 




















except TIMEOUT: JE X TIMEOUT ^is Jb EE 








print "expect TIMEOUT" 


child = pexpect.spawn ('/usr/bin/scp', 
[user+'@'+ip+': /data/nginx access.tar.gz'. '/home' ]) 
scp 远 程 拷 贝 命令 ， 实 现 将 打包 好 的 nginx 日 复制 至 本 地 /home 目 录 





fout = file ('mylog.txt', 'a') 
child.logfile = fout 
try: 

child.expect (' (? i) password' ) 


child.sendline (passwd) 








# 启 动 


child.expect (pexpect.EOF)  # 匹 配 缓冲 区 EOF (45) ， 保 证 文件 





复制 正常 完成 





except EOF: 
print "expect EOF" 


except TIMEOUT: 





print "expect TIMEOUT" 








Q 参考 提示 。 5.2 节 和 5.3 节 常用 类 说 明 与 应 用 
案例 参考 http://pexpect.readthedocs.org/en/latest/。 





HOR ”系统 批量 运 维 管理 需 paramiko 详 解 


paramiko 是 基于 Python 实现 的 SSH2 远 程 安全 连接 ， 
文 持 认证 及 密 钥 方式 。 可 以 实现 远程 命令 执行 、 文 
件 传 输 、 中 间 SSH 代 理 等 功能 ， 相 对 于 Pexpect， 封 
装 的 层次 更 高 ， 更 贴近 SSH 协 议 的 功能 ， 官 网 地 
lb: http:/www.paramiko.org， 目 前 最 高 版 本 为 
1.133 














6.1 paramikoH) zc 


paramiko x fpip. easy. install EV fd 2228: 7; sk, 4R 
Jj f RE DV OREN Ip, Hp dg mu P ORAS 
用 户 环境 ， 目 行 选择 pip 或 easy_install : 





pip install paramiko 


easy install paramiko 





paramiko 依 赖 第 三 方 的 Crypto、Ecdsa 包 及 Python 开 
发 包 python-devel 的 文 持 ， 源 人 码 安装 步骤 如 下 : 





# yum -y install python-devel 

4 wget 

http: //ftp.dlitz.net/pub/dlitz/crypto/pycrypto/pycrypto- 
2.6.tar.gz 

# tar -zxvf pycrypto-2.6.tar.gz 

# cd pycrypto-2.6 

# python setup.py install 

# cd .. 

# wget 

https: //pypi.python.org/packages/source/e/ecdsa/ecdsa- 
0.10.tar.gz --no-check-certificate 

# tar -zxvf ecdsa-0.10.tar.gz 


# cd ecdsa-0.10 


# python setup.py install 


# cd .. 


# wget 
https: //github.com/paramiko/paramiko/archive/v1.12.2.tar.gz 


# tar -zxvf v1.12.2.tar.gz 
# cd paramiko-1.12.2/ 


# python setup.py install 











MS RAR FARRA PERE E uU LU] ZUR 
成 功 : 





# python 
Python 2.6.6 (r266: 84292, Jul 10 2013, 22: 48: 45) 
[GCC 4.4.7 20120313 (Red Hat 4.4.7-3) ] on linux2 


Type "help", "copyright", "credits" or "license" for more 
information. 


>>> import paramiko 


>>> 





下 面 介绍 一 个 简单 实现 远程 SSH 运 行 命 令 的 示例 。 
访 示 例 使 用 密码 认证 方式 ， 通 过 exec_command () 
方法 执行 命令 ， 详 细 源 码 如 下 : 


[/home/test/paramiko/simplel1.py ] 





#! /usr/bin/env python 


import paramiko 


hostname='192.168.1.21' 
username='root' 
password-z'SKJh935yftz' 


paramiko.util.log to file ('syslogin.log') # 发 送 paramiko 日 志 到 
syslogin.1og 文 件 


ssh-paramiko.SSHClient () # 创 建 一 个 ssh 客 户 端 client 对 象 


ssh.load system host keys © # 获 取 客 户 端 host_keys， 默 认 
~/ ,Ssh/known_hosts， 非 默认 路 


# 径 需 指 定 


ssh.connect (hostname=hostname, username=username, 
password-password) # 创 建 ssh 连 接 


stdin, stdout, stderr=ssh.exec_command ('free -m') # 调 用 远程 执 
行 命令 方法 exec_command ©) 


print stdout.read O  # 打 印 命令 执行 结果 ， 得 到 Python 列 表 形 式 ， 可 以 
使 用 stdout .readlines © 


ssh.close O — £XHjsshies 





程序 的 运行 结果 截图 如 图 6-1 所 示 。 


[rooteSN2013-08-020 paramiko]# python simplel.py 
total used free shared buffers cached 
Mem: 482 455 26 ð 2 80 


-/+ buffers/cache: 371 110 
Swap: 1023 8 19015 


图 6-1 程序 运行 结果 





6.2 ”paramiko 的 核心 组 件 


paramiko 包 含 两 个 核心 组 件 ， 一 个 为 SSHClient 类 ， 
另 一 个 为 SFTPClient 类 ， 下 面 详细 介绍 。 


6.2.1 SSHClient 类 


SSHClient 类 是 SSH 服 务 会 话 的 高 级 表示 ， 该 类 封装 
了 传输 (transport) 、 通 道 CchanneD 及 
SFTPClient 的 校 验 、 建 立 的 方法 ， 通 常用 于 执行 远 
程 命令 ， 下 面 古 一 个 简单 的 例子 : 











client = SSHClient () 
client.load system host keys () 
client.connect ('ssh.example.com') 


stdin, stdout, stderr = client.exec command ('ls -1') 





下 面 介 绍 SSHClient 常 用 的 几 个 方法 。 
1.connect 方 法 

connect 方 法 实现 了 远程 SSH 连 接 并 校 验 。 
方法 定义 : 





connect (self, hostname, port=22, username=None, 
password=None, pkey=None, key_filename=None, timeout=None, 
allow_agent=True, look_for_keys=True, compress=False) 


参数 说 明 : 
:hostname 〈str 类 型 ) ， 连 接 的 目标 主机 地 址 ; 


port Cinta!) , ERA MED MA, VA 
22; 


‘username 〈Sstr 类 型 ) ， 校 验 的 用 户 名 〈 默 认为 当前 
的 本 地 用 户 名 ) ; 


‘password 《str 类型) ， 密 码 用 于 里 份 校 验 或 解锁 私 
4H; 


-pkey 〈PKey 类 型 ) ， 私 钥 方 式 用 于 号 份 验证 ; 


key _filename (str or list (str) 类 型 ) ， 一 个 文件 


名 或 文件 名 的 列表 ， 用 于 私 钥 的 身份 验证 ; 


‘timeout (float 类 型 ) ， 一 个 可 选 的 超时 时 间 (以 秒 
为 单位 ) 的 TCP 连 接 ; 


allow. agent (bool 类 型 ) ， 设 置 为 False 时 用 于 茶 用 
连接 到 SSH 代 理 ; 


look for keys 《bool 类 型 ) ， 设 置 为 False 时 用 来 禁 
用 在 ~/.ssh 中 搜索 私 钥 文 件 ; 


compress 《bool 类 型 )， 设 置 为 True 时 打开 压强 。 





2.exec command7; 7X: 

远程 命令 执行 方法 ， 访 命令 的 输入 与 输出 流 为 标准 
输入 (stdin) 、 输 出 (stdout) 、 错 误 (stderr) 的 
Python 文件 对 象 ， 方 法 定义 : 








exec command (self, command, bufsize=-1) 





参数 说 明 : 
‘command (str 类 型 ) ， 执 行 的 命令 串 ; 


‘bufsize (int 类 型 ) ， 文 件 缓冲 区 大 小 ， 默 认为 - 
1 不 限制 )。 


3.load system host keys7; 7X 


Js AS Hh SX E. BRU 
~/.Ssh/known_hosts， 非 默认 路 径 需 要 手工 指定 ， 方 
法 定义 : 





load system host keys (self, filename=None) 





参数 说 明 : 


filename (str 类 型 )， 指 定 远 程 主 机 公 钥 记录 文 
件 。 


4.set missing host key. policy77 7; 


设置 连接 的 远程 主机 没有 本 地 主机 密 钥 或 HostKeys 
对 象 时 的 策略 ， 目 前 文 持 三 种 ， 分 别 是 
AutoAddPolicy、RejectPolicy 〈 默 认 ) 、 
WarningPolicy， 仅 限 用 于 SSHClient 关 ， 分 别 代表 
的 含义 如 下 : 


AutoAddPolicy， 目 动 添加 主机 名 及 主机 窗 钥 到 本 
地 HostKeys 对 象 ， 并 将 其 保存 ， 不 依赖 

load system host keys O 的 配置 ， 即 使 
~/.Ssh/known_hosts 不 存在 也 不 产生 影 啊 ; 


-RejectPolicy， 目 动 拒 绝 未 知 的 主机 名 和 密 铀 ， 依 
赖 ]oad_system_host_keys ) 的 配置 ; 


-WarningPolicy， 用 于 记录 一 个 未 知 的 主机 密 钥 的 
Python 警告 ， 并 接受 它 ， 功 能 上 与 AutoAddPolicy 相 
似 ， 但 未 知 主机 会 有 告警 。 


使 用 方法 如 下 : 





























ssh-paramiko.SSHClient () 


ssh.set missing host key policy (paramiko.AutoAddPolicy () ) 








6.2. SFTPClientZ 
SFTPClient 作 为 一 个 SFTP 客 户 端 对 象 ， 根 据 SSH 传 


输 协 议 的 sftp 会 话 ， 实 现 远程 文件 操作 ， 比 如 文件 
上 传 、 下 载 、 权 限 、 状 态 等 操作 ， 下 面 介绍 
SFTPClient 类 的 常用 方法 。 


1.from_transport 方 法 
创建 一 个 已 连通 的 SFTP 客 户 端 通道 ， 方 法 定义 : 





from transport (cls, t) 





参数 说 明 : 
t (Transport) ， 一 个 已 通过 验证 的 传输 对 象 。 
例子 说 明 : 





t = paramiko.Transport ( ("192.168.1.22", 22) ) 
t.connect Cusername="root", password="KJSdj348g" ) 


sftp =paramiko.SFTPClient.from_transport (t) 





2.put 方 法 
上 传 本 地 文件 到 远程 SFTP 服 务 端 ， 方 法 定义 : 





put (self, localpath, remotepath, callback=None, 
confirm=True) 


[| 


参数 说 明 : 
‘localpath (str 类 型 )， 需 上 传 的 本 地 文件 CUD ; 
‘remotepath 〈str 类 型 ) ， 远 程 路 径 〈 目 标 ) ; 


-callback (function Cint, int) ) ， 获 取 已 接收 的 字 
节 数 及 总 传输 字 节 数 ， 以 便 回 调 函 数 调 用 ， 默 认为 
None; 

confirm (bool 类 型 ) ， 文 件 上 传 完 毕 后 是 否 调用 
stat © 方法 ， 以 便 确 认 文 件 的 大 小 。 


例子 说 明 : 








localpath='/home/access.log' 
remotepath='/data/logs/access.log' 


sftp.put (localpath, remotepath) 





3.get 方 法 
从 远程 SFTP 服 务 端 下 载 文件 到 本 地 ， 方 法 定义 : 





get (self, remotepath, localpath, callback=None) 





参数 说 明 : 
‘remotepath 〈str 类 型 ) ， 需 下 载 的 远程 文件 


CUR ; 
‘localpath 〈str 类 型 ) ， 本 地 路 径 〈 目 标 ) ; 


-callback (function Cint, int) ) ， 获 取 已 接收 的 字 
节 数 及 总 传输 字 节 数 ， 以 便 回 调 函 数 调 用 ， 默 认为 


None。 


例子 说 明 : 
B= 一 一 = 
remotepath-'/data/logs/access.log' 
localpath-'/home/access.log' 


sftp.get (remotepath, localpath) 





4. 其 他 方法 
SFTPClient FH. fth H] 77 15; ji A: 


:Mkdir， 在 SFTP 服 务 需 站 创建 目录 ， 如 
sftp.mkdir ("/home/userdir", 0755) 。 


remove, JH RSFTIPHRAS zimin xe Hom. Ad 
sftp.remove ("/home/userdir") . 


rename， 重 命名 SFTP 服 务 器 端 文 件 或 目录 ， 如 


sftp.rename ("/home/test.sh", "/home/testfile.sh") . 


Stat， 获取 远程 SFTP 服 务 需 器 指定 文件 信息 ， 如 








sftp.stat ("/home/testfile.sh") . 


listdir, RAGULPESFTPARA ae vinta xe AeA, UA 
Python 的 列表 (List) 形式 返回 ， 如 
sftp.listdir ("/home") 。 





5.SFTPClient 类 应 用 示例 


下 面 为 SFTPClient 类 的 一 个 完整 示例 ， 实 现 了 文件 
上 传 、 下 载 、 创 建 与 删除 目录 等 ， 需 要 注意 的 是 ， 
put 和 和 get 方法 需要 指定 文件 名 ， 不 能 省 略 。 详 细 源 
码 如 下 : 





#! /usr/bin/env python 

import paramiko 

username - "root" 

password - "KJsd8t34d" 

hostname = "192.168.1.21" 

port = 22 

try: 
t = paramiko.Transport ( (hostname, port) ) 
t.connect (username-username, password=password ) 
sftp =paramiko.SFTPClient.from_transport (t) 


sftp.put ("/home/user/info.db", "/data/user/info.db") 
# 上 传 文件 


sftp.get ("/data/user/info 1.db", 
"/home/user/info_1.db")  £FZ xf 





sftp.mkdir ("/home/userdir", 0755)  # 创 建 目录 
sftp.rmdir ("/home/userdir") 4M Hoe 


sftp.rename ("/home/test.sh", "/home/testfile.sh")  # 文 件 
重 命 名 


print sftp.stat ("/home/testfile.sh")  # 打 印 文件 信息 
print sftp.listdir ("/home")  # 打 印 目录 列表 
t.close () ; 

except Exception, e: 


print str (e) 


6.3 paramiko 应 用 示例 
6.3.1 ”实现 密 钥 方式 登录 远程 主机 


实现 目 动 密 钥 登录 方式 ， 第 一 步 需 要 配置 与 目标 设 
备 的 密 钥 认证 支持 ，# m 5 节 ， 私 钥 文 件 可 以 
存放 在 默认 路 径 “~/.sshyid_rsa”， 当 然 也 可 以 自 定 
义 ， 如 本 例 的 /home/key/id_rsa”， 通 过 
paramiko.RSAKey.from private key file © 方法 引 
用 ， 详 细 代码 如 下 : 


[/home/test/paramiko/simple2.py ] 








#! /usr/bin/env python 

import paramiko 

import os 

hostname='192.168.1.21' 

username='root' 

paramiko.util.log to file ('syslogin.log') 
ssh-paramiko.SSHClient () 
ssh.load system host keys ©) 


privatekey = os.path.expanduser ('/home/key/id rsa'O  # 定 义 私 
钥 存放 路 径 


key = paramiko.RSAKey.from private key file (privatekey) # 
创建 私 钥 对 象 Key 





ssh.connect Chostname=hostname, username=username, pkey = 
key) 


stdin, stdout, stderr-ssh.exec command ('free -m') 
print stdout.read () 


ssh.close () 





程序 执行 结 末 见 图 6-1。 
6.3.2 ”实现 堡垒 机 模式 下 的 远程 命令 执行 


堡垒 机 环境 在 一 定 程度 上 提升 了 运营 安全 级 别 ， 但 
同时 也 提高 了 日 种 运营 成 本 ， 作 为 管理 的 中 转 设 
备 ， 任 何 针 对 业务 服务 器 的 管理 请 求 都 会 经 过 此 节 
点 ， 比 如 SSH 协 议 ， 首 先 运 维 人 员 在 办 公 电 脑 通过 
SSH ERKEN FRE EPR AA WLSSH BESS BI] A 
有 的 业务 服务 器 进行 维护 操作 ， 如 图 6-2 所 示 。 


©. SSHClient. connect == 
ate? 


EA V A 

















业务 属 -— 


图 6-2 ERAPR PIER m AT 


我 们 可 以 利用 paramiko 的 invoke_shell 机 制 来 实现 通 
过 堡 鸡 机 实现 服务 器 操作 ， 原 理 是 
SSHClient.connect 到 保命 机 后 开局 一 个 新 的 SSH 会 
ih (session) ， 通 过 新 的 会 话 运 行 <ssh user(@IP” 去 
实现 远程 执行 命令 的 操作 。 实 现代 人 码 如 下 : 





[/home/test/paramiko/simple3.py ] 





#! /usr/bin/env python 
import paramiko 


import os, sys, time 





blip="192.168.1.23" Hie UR AWE IE 
bluser="root" 
blpasswd="KJsdiug45" 


hostname="192.168.1.21" # 定 义 业 务 服务 器 信息 





username="root" 
password="IS8t5jgrie" 
port=22 


passinfo='\'s password: ' # 输 入 服务 器 密码 的 前 标志 串 





paramiko.util.log to file ('syslogin.log') 
ssh-paramiko.SSHClient () &ssh Xe fe AL 


ssh.set missing host key policy (paramiko.AutoAddPolicy () ) 





ssh.connect (hostname-blip. username=bluser, 
password=blpasswd ) 





channel=ssh.invoke_shell © # 创 建 会 话 ， 开 局 命令 调用 
channel.settimeout (10) # 会 话 命 令 执行 超时 时 间 ， 单 位 为 秒 

buff = '' 

resp = '' 

channel.send ('ssh '«username-'Q'-hostname-'Nn') # 执 行 ssh 
登录 业务 主机 











while not buff.endswith (passinfo) : #Sssh 登 录 的 提示 信息 判断 ， 








输出 串 尾 含有 "\'s password: "时 





try: # 退 出 while 循 环 
resp = channel.recv (9999) 

except Exception, e: 
print 'Error info: %s connection time.' % (str (e) ) 
channel.close () 
ssh.close () 
sys.exit () 

buff += resp 


if not buff.find ('yes/no') ==-1: # 输 出 串 尾 含 
有 "yes/no" 时 发 送 "yes" 并 回 车 





channel.send ('yes\n') 





buffz'' 

channel.send (password-*'Nn') # 发 送 业务 主机 密码 

buffz'' 

while not buff.endswith ('# ') : # 输 出 串 尾 为 "# "时 说 明 校 验 通 
过 并 退出 while 循 环 


resp = channel.recv (9999) 





if not resp.find (passinfo) ==-1: # 输 出 串 尾 含有 "\'s 
password: "时 说 明 密码 不 正确 ， 




















# 要 求 重新 输入 


print 'Error info: Authentication failed. ' 





channel.close () # 关 闭 连接 对 象 后 退出 





ssh.close () 
sys.exit () 


buff += resp 





channel.send ('ifconfig\n' ) # 认 证 通过 后 发 送 ifconfig 命 令 来 查看 
结果 


£i 





buffz'' 
try: 
while buff.find ('# ') ==-1: 
resp = channel.recv (9999) 
buff += resp 
except Exception, e: 


print "error info: "+str (e) 





print buff # 打 印 输出 串 
channel.close () 


ssh.close () 


\ 一 cm hp 
运行 结果 如 下 : 

[ee | 
# python /home/test/paramiko/simple3.py 
ifconfig 


etho Link encap: Ethernet Hwaddr 00: 50: 56: 28: 63: 2D 


inet addr: 192.168.1.21 Bcast: 192.168.1.255 
Mask: 255.255.255.0 


inet6 addr: fe80: : 250: 56ff: fe28: 632d/64 Scope: 
Link 


UP BROADCAST RUNNING MULTICAST MTU: 1500 Metric: 


RX packets: 3523007 errors: 0 dropped: 0 overruns: 0 
frame: 0 


TX packets: 6777657 errors: 0 dropped: 0 overruns: 0 
carrier: 0 


collisions: 0 txqueuelen: 1000 


RX bytes: 606078157 (578.0 MiB) TX bytes: 
1428493484 (1.3 GiB) 


lo Link encap: Local Loopback 


inet addr: 127.0.0.1 Mask: 255.0.0.0 





显示 “inet addr: 192.168.1.21” 说 明 命 令 已 经 成 功 执 
fT 
6.3.3 SEX eS AB USE. PB RECTE ENE 


实现 堡垒 机 模式 下 的 文件 上 传 ， 原理 是 通过 
MM 的 SFTPClient 将 文件 从 办 公设 备 上 传 至 您 
爸 机 指定 的 临时 目录 ， 如 /tmp， 再 通 过 SSHClient 的 
invoke _shell 方 法 开 启 ssh 会 话 ， 执 行 scp 命 令 ， 
将 /tmp 下 的 指定 文件 复制 到 目标 业务 服务 右上 ， 如 
图 6-3 所 示 。 








/tmp 


oh 








RAIS 
业务 服务 器 — n 


Al6-3 ”堡垒 机 模式 下 的 文件 上 传 


本 示例 具体 使 用 sftp.put O Aik Efe CHE 28 86 2L 
临时 目录 ， 再 通过 send O 方法 执行 scp 命 令 ， 将 堡 
爸 机 临时 目录 下 的 文件 复制 到 目标 主机 ， 详 细 的 实 
现 源码 如 下 : 


[/home/test/paramiko/simple4.py ] 








#! /usr/bin/env python 
import paramiko 
import os, sys, time 


blip="192.168.1.23" s X ANUS 








bluser="root" 
blpasswd=" IS8t5jgrie" 


hostname="192.168.1.21" # 定 义 业务 服务 器 信息 








username="root" 
password=" KJsdiug45" 
tmpdir="/tmp" 


remotedir="/data" 


localpath="/home/nginx_access.tar.gz" # 本 地 源 文 件 路 径 
tmppath=tmpdir+"/nginx_access.tar.gz" # 堡 垒 机 临时 路 径 
remotepath-remotedir-*"/nginx access hd.tar.gz" # 业 务 主机 目 
标 路 径 

port=22 


passinfo-'N's password: ' 


paramiko.util.log to file ('syslogin.log') 


t = paramiko.Transport ( (blip, port) ) 

t.connect Cusername=bluser, password=blpasswd ) 

sftp =paramiko.SFTPClient.from_transport (t) 

sftp.put (localpath, tmppath) # 上 传 本 地 源 文件 到 堡垒 机 临时 路 径 
sftp.close () 

ssh-paramiko.SSHClient () 


ssh.set missing host key policy (paramiko.AutoAddPolicy () ) 





ssh.connect (hostname-blip. username-bluser, 
password=blpasswd ) 


channel=ssh.invoke_shell () 
channel.settimeout (10) 
buff = '' 

resp = 
#Scp 中 转 目 录 文 件 到 目标 主机 


channel.send ('scp '+tmppath+' 
'+username+'@'+hostname+': '+remotepath+'\n' ) 


while not buff.endswith (passinfo) : 

try: 
resp = channel.recv (9999) 

except Exception, e: 
print 'Error info: %s connection time.' % (str (e) ) 
channel.close () 
ssh.close () 
sys.exit () 


buff += resp 


if not buff.find ('yes/no') ---1: 
channel.send ('yes\n' ) 
buffz'' 
channel.send (password-'Nn') 
buff="' 
while not buff.endswith ('# ') : 
resp = channel.recv (9999) 
if not resp.find (passinfo) ==-1: 
print ‘Error info: Authentication failed." 
channel.close () 
ssh.close () 
sys.exit () 
buff += resp 
print buff 
channel.close () 


ssh.close () 





运行 结果 如 下 ， 如 目标 主 
机 /data/nginx_access_hd.tar.gz 存 在 ， 则 说 明文 件 已 


成 功 上 传 。 





# python /home/test/paramiko/simple4.py 


nginx access.tar.gz 100% 1590KB 


1.6MB/s 00: 00 


当然 ， 整 合 以 上 两 个 示例 ， 再 引入 主机 清单 及 功能 
配置 文件 ， 可 以 实现 更 加 灵活 、 强 大 的 功能 ， 大 和 家 
可 以 目 己 动手 ， 在 实践 中 学 习 ， 打 造 适合 目 身 业务 
环境 的 目 动 化 运营 平 合 。 











参考 提示 。 6.2 节 和 6.3 节 常用 类 说 明 与 应 用 
案例 参考 http://docs.paramiko.org/en/1.13/ 官 网 文 
档 o 








TUER ”系统 批量 运 维 管理 圳 Fabric 详 解 


Fabric 是 基于 Python 〈2.5 及 以 上 版 本 ) 实现 的 SSH 
命令 行 工具 ， 简 化 了 SSH 的 应 用 程序 部 署 及 系统 管 
理 任务 ， 它 提供 了 系统 基础 的 操作 组 件 ， 可 以 实现 
本 地 或 远程 shell 命 令 ， 包 括 命令 执行 、 文 件 上 传 、 
下 载 及 完整 执行 日 志 输 出 等 功能 。Fabric 在 
paramiko 的 基础 上 做 了 更 高 一 层 的 封装 ， 操 作 起 来 
会 更 加 简单 。Fabric 官 网 地 址 为 : 
http:/www.fabfile.org， 目 前 最 高 版 本 为 1.8。 


7.1 ” ”Fabric 的 安装 


Fabric 支 持 pip、easy_install 或 源码 安装 方式 ， 很 方 
便 解决 包 依赖 的 问题 ， 具 体 安 装 命令 如 下 根据 用 
户 环 境 ， 目 行 选 择 pip 或 easy_install : 





pip install fabric 


easy install fabric 





FabricfK i — JJ H'Jsetuptools. Crypto. paramiko#, 
的 文 持 ， 源 码 安装 步骤 如 下 : 





# yum -y install python-setuptools 

4 wget 

https: //pypi.python.org/packages/source/F/Fabric/Fabric- 
1.8.2.tar.gz --no-check-certificate 

# tar -zxvf Fabric-1.8.2.tar.gz 

# cd Fabric-1.8.2 


# python setup.py install 








校 验 安装 结果 ， 如 果 导 入 模块 没有 拓 示 异常 ， 则 说 
明 安 装 成 功 : 





# python 


Python 2.6.6 (r266: 84292, Jul 10 2013, 22: 48: 45) 


[GCC 4.4.7 20120313 (Red Hat 4.4.7-3) ] on linux2 


Type "help", "copyright". "credits" or "license" for more 
information. 


>>> import fabric 


>>> 





官网 提供 了 简单 的 入 门 示例 : 
[/home'/test/fabric/fabfile.py ] 





4! /usr/bin/env python 
from fabric.api import run 


def host type O : # 定 义 一 个 任务 函数 ， 通 过 run 方 法 实现 远程 执 
ff'uname -s’' 命 令 


run ('uname -s') 





了 结果 如 图 7-1 所 示 。 


[roote9N2013-08-020 fabric]? fab -H 192.168.1.21,192.168.1.22 host type 
[192.168.1.21] Executing task 'host type' 

[192.168.1.21] run: uname -s 

[192.168.1.21] out: Linux 

[192.168.1.21] out: 

[192.168.1.22] Executing task 'host type' 
[192.168. 
[192.168. 


.22] out: Linux 
.22] out: 


1 

[192.168.1.22] run: uname -s 
1 
1 


Done. 
Disconnecting from 192.168.1.22... 
Disconnecting from 192.168.1.21... 





图 7-1 程序 执行 结 


其 中 ，fab 命 令 引 用 默认 文件 名 为 fabfile.py， 如 果 使 
用 非 默 认 文件 名 称 ， 则 需 通 过 “-f”» 来 指定 ， 如 : fab- 
H SN2013-08-021, SN2013-08-022-f host_type.py 

host_type。 如 果 管 理 机 与 目标 主机 未 配置 密 钥 认证 
信任 ， 将 会 提示 输入 目标 主机 对 应 账号 登录 密码 。 





7.2 fab 的 常用 参数 


fab 作 为 Fabric 程 序 的 命令 行 入 口 ， 提 供 了 丰富 的 参 
数 调用 ， 命 令 格式 如 下 : 


fab [options] B QE argi. arg2=val2, host=foo, 
hosts='h1; ica] 





下 面 列 举 了 第 用 的 几 个 参数 ， 更 多 参数 可 使 用 fab- 
hept Æ. 


-b EIRENE ES BBLS : 


-f, TEXEfabA LL StF, RUA HAN 
fabfile.py; 


-g， 指 定 网 天 中转 ) Ke, WAAL, IH 
t3 fs A LIP n] ; 


--H, 指定 目标 主机 ， 多 台 主 机 用 “， ”号 分 隅 ; 
:-P， 以 异步 并 行 方式 运行 多 主机 任务 ， 默 认为 串 行 
运行 ; 

-R， 指 定 role〈 角 色 ) ， 以 角色 名 区 分 不 同业 务 组 
设备 ; 

`-t， 设 置 设备 连接 超时 时 间 ( 秒 ); 








-IT， 设 置 远程 主机 命令 执行 超时 时 间 〈 秒 ) : 


-WwW， 当 命令 执行 失败 ， 发 出 告警 ， 而 非 默认 中 目 
任务 。 


有 时 候 我 们 甚至 不 需要 写 一 行 Python 代 码 也 可 以 完 
成 远程 操作 ， 和 直接 使 用 命令 行 的 形式 ， 例 如 : 








4 fab -p Ksdh3458d (密码 ) -H 192.168.1.21, 192.168.1.22 -- 
'uname -s' 


命令 运行 结果 见 图 7-1。 


LI 


7.3 ”fabfile 的 编写 


fab 命 令 是 结合 我 们 编写 的 fabfile.py (其 他 文件 名 须 
添加 -f filename 引 用 ) 来 搭配 使 用 的 ， 部 分 命令 行 
参数 可 以 通过 相应 的 方法 来 代 蔡 ， 使 之 更 加 灵活 ， 
例如 “-H 192.168.1.21，192.168.1.22”， 我 们 可 以 通 
过 定义 env.hosts 来 实现 ， 如 “env.hosts= 
[192.168.1.21'，'192.168.1.22]”。fabfile 的 主体 由 多 
个 上 自 定 义 的 任务 函数 组 成 ， 不 同 任 务 函 数 实现 不 同 
的 操作 人 逻辑 ， 下 面 详细 介绍 。 

7.3.1 全 局 属性 设 定 

evn 对 象 的 作用 是 定义 fabfile 的 全 局 设 定 ， 支 持 多 个 


属性 ， 包 括 目 标 主机 、 用 户 、 密 码 、 和 角色 等 ， 各 属 
性 说 明 如 下 : 


env.host， 定 义 目标 主机 ， 可 以 用 IP 或 主机 名 表 
示 ， 以 Python 的 列表 形式 定义 ， 如 env.hosts= 
['192.168.1.21', '192.168.1.22']. 














.env.exclude_hosts， 排 除 指定 主机 ， 如 
env.exclude hosts-['192.168.1.22']. 


‘env.user, 4E X. H1? Z, Wenv.user="root". 


enV.port， 定 义 目标 主机 端口 ， 默 认为 22， 如 
env.port="22". 


-‘env.password, 4E C2804, UU 
env.password-'KSJ3548t7d'. 


envV.passwords， 与 password 功 能 一 样 ， 区 别 在 于 不 
同 主机 不 同 密码 的 应 用 场景 ， 需 要 注意 的 是 ， 配 置 
passwords 时 需 配置 用 户 、 主 机 、 端 口 等 信息 ， 如 : 








env.passwords = ( 


'root0192.168.1.21: 22': 'SJk348ygd', 
'root0192.168.1.22: 22': "'KSh458j4f', 
'root0192.168.1.23: 22': '"'KSdu43598' 








-env.gateway, 4E XY CHER, EHL) IP, Jn 
env.gateway='192.168.1.23'. 


-env.deploy_release_dir, Axe X 4e, MIA: 
env.“ EAP”, ülenv.deploy. release dir. 


env.age. env.sex# 


.env.roledefs， 和 定义 角色 分 组 ， 比 如 web 组 与 db 组 主 
机 区 分 开 来 ， 定 义 如 下 : 





env.roledefs = ( 


'webservers': ['192.168.1.21', '192.168.1.22', 
'192.168.1.23', '192.168.1.24'], 


'dbservers': ['192.168.1.25', '192.168.1.26'] 





引用 时 使 用 Python 修饰 符 的 形式 进行 ， 角 色 修 饰 符 
下 面 的 任务 函数 为 其 作用 域 ， 下 和 耐 来 看 一 个 示例 : 





Qroles ('webservers') 
def webtask () : 

run ('/etc/init.d/nginx start') 
@roles ('dbservers'») 
def dbtask O : 

run ('/etc/init.d/mysql start') 
Qroles ('webservers', "'dbservers') 
def pubclitask () : 

run ('uptime' ) 
def deploy () : 

execute (webtask) 

execute (dbtask) 


execute (pubclitask) 





frin S17 Hus #fab deploy 残 可 以 实现 不 同 角色 执行 
不 同 的 任务 函数 了 。 


7.3.0 % HAPI 
Fabric 提 供 了 一 组 简单 但 功能 强大 的 fabric.api 命 令 


集 ， 简 单 地 调用 这 些 API 束 能 完成 大 部 分 应 用 场景 
需求 。Fabric 文 持 单 用 的 方法 及 说 明 如 下 : 

local， 执行 本 地 命令 ， 如 : local Cuname-s') ; 
-lcd， 切 换 本 地 目录 ， 如 : led (/home') ; 

cd， 切换 远程 目录 ， 如 : cd C'/data/logs ; 

:Tun， 执 行 远 程 命令 ， 如 : run ('free-m') ; 


sudo，sudo 方 式 执行 远程 命令 ， 如 : 
sudo ("etc/init.d/httpd start') ; 


-put， 上 传 本 地 文件 到 远程 主机 ， 如 : 


put ('/home/user.info', '/data/user.info') ; 


“get， 从 远程 主机 下 载 文件 到 本 地 ， 如 : 


get ('/data/user.info', '/home/root.info') ; 


.prompt， 获 得 用 户 输 入 信息 ， 如 : prompt C'please 
input user password: ') ; 





confirm， 获 得 提示 信息 确认 ， 如 : confirm ("Tests 
failed.Continue[Y/N]? ") ; 


:reboot， 重 局 远程 主机 ， 如 : reboot © ; 


`@task， 函 数 修饰 从 ， 标 识 的 函数 为 fab 可 调用 的 ， 
非 标 记 对 fab 不 可 见 ， 纯 业务 逻辑 ; 


Oruns_once， 函 数 修 饰 待 ， 标 识 的 函数 只 会 执行 


TK, BSCS BEALE MG 


BRAG a EES BR TE BIA Be Ea UL E68 H 
API. 


7.3.8 ”示例 1: 奏 看 本 地 与 远程 主机 信息 


本 示例 调用 local O AEAT (Eim) 命 


令 ， 添 加 “@runs_once” 修 饰 符 保证 该 任务 图 数 只 


TA 


行 一 次 。 调 用 run() 方法 执行 远程 命令 。 详 细 源 


AGU P: 
[/home'/test/fabric/simple1.py ] 





#! /usr/bin/env python 

from fabric.api import * 

env.user-'root' 

env.hosts-['192.168.1.21', '192.168.1.22'] 
env.password-'LKs934jh3' 

Qruns once # 碍 看 本 地 系统 信息 ， 当 有 多 台 主 机 时 只 运行 一 次 
def local task O : # 本 地 任务 函数 








local ("uname -a") 


def remote task () : 


with cd ("/data/logs") : #“with” 的 作用 是 让 后 面 的 表达 式 的 语 


句 继承 当前 状态 ， 实 现 


run ("1s -1") 4 "cd /data/logs && ls -1” 的 效 


ES 





通过 fab 命 令 分 别 调用 local taskfF2$ eR 290053131 Z 
Ti 图 7-2 所 示 Oo 


[root&582013-08-020 fabric]? fab -f simplel.py local task 
[192.168.1.21] Executing task "local task* 
[localhost] local: uname -a 


Linux SN2013-@8-020 2.6.32-358.18.1.e16.x86_64 #1 SMP Wed Aug 28 17:19:38 UTC 2013 xB6_64 x86_64 x86_64 GNU/Linux 





Done. 


图 7-2 调用]local task{f $ ek BUS 17 £ 


结果 中 显示 了 “[192.168.1.21]Executing 
task'local_task”， 但 事实 上 并 非 在 主机 192.168.1.21 
上 执行 任务 ， 而 是 返回 Fabric 主 机 本 地 “uname-a” 的 
执行 结果 。 


调用 remote_task 任 务 函 数 的 执行 结果 如 图 7-3 所 示 。 


[rooteSN2013-08-020 fobric] fob -f simplei.py remote task 

[192.168.1.21] Fxecuting task 'remote task' 

[192.168.1.21] run: 1s -1 

[192.168.1.21] out: iH E 8076 

[192.168.1.21] out: -rw-r--r--. 1 root root 8266998 3 月 9 11:20 access.tar.gz 
[192.168.1.21] out: 


[192.168.1.22] Executing task 'remote task' 
[192.168.1.27] run: 1s -1 


[192.168.1.2?] out: total 8976 
[192.168.1.22] out: -rw-r--r-- 1 root root 8266998 Mar 9 11:38 access.tar.gz 
[192.168.1.22] out: 


Done. 
Disconnecting from 192.168.1.22... done. 
Disconnecting from 192.168.1.21... done. 


图 7-3 ”调用 remote_task 任 务 函 数 运行 结果 





7.3.4 ”示例 2: 动态 获取 远程 目录 列表 


本 示例 使 用 “@task” 修 饰 人 符 标 志 入 口 函 数 go() 对 
外 部 可 见 ， 配 合 “@runs_once” 修 饰 符 接收 用 户 输 
入 ， 最 后 调用 worktask () 任务 函数 实现 远程 命令 
执行 ， 详细 源码 如 下 : 


[/home'/test/fabric/simple2.py ] 





#! /usr/bin/env python 

from fabric.api import * 

env.user-'root' 

env.hosts-['192.168.1.21'., '192.168.1.22'] 
env.password-'LKs934jh3' 


Qruns. once # 主 机 遍历 过 程 中 ， 只 有 第 一 台 触 发 此 函数 





def input raw () : 


return prompt ("please input directory name: " 
default="/home" ) 


def worktask (dirname) : 
run ("ls -1 "4+dirname) 


@task # 限 定 只 有 go 函数 对 fab 命 令 可 见 





def go ©: 
getdirname - input raw () 


worktask C(getdirname) 





该 示例 实现 了 一 个 动态 输入 远程 目录 名 称 ， 再 获取 


目录 列表 的 功能 ， 由 于 我 们 只 要 求 输入 一 次 ， 再 显 
示 所 有 主机 上 访 目 录 的 列表 信息 ， 调 用 了 一 个 子 了 图 
Ziinput raw (©) 同时 配置 @runs_once 修 饰 符 来 达到 


此 目的 。 
执行 结果 如 图 7-4 所 示 。 


[roote$N2013-08-020 fabric]? fab -f simple2.py go 


[192.168.1.21] Executing task ‘go’ 


please input directory name: [/home] /root 


(192. 
[192. 
[192. 
[192. 
[192. 
[192. 
[192. 


[192. 
[192. 
[192. 
[192. 


Disconnecting fron 192.168.1.22... 
Disconnecting fron 192.168.1.21... 


168.1.21] run: 


168.1.21] 
1.21] 


168. 
168. 
168. 
168. 
168. 


168. 
168. 
168. 
1608. 
2.168. 

. 168. 

- 168. 


本 示例 通 


A“env.gateway='192.168.1.23"”, 


1 
1 
1 
1 


1 
1 
1 
1 
1 
1 


1 


.21] 
.21] 
.21] 
mau 


.22] 
.22] 
.22] 
.22] 
.22] 
.22] 
.22] out 
.168.1.22] í 


ls -l /root 
out: AHE 28 
out: 
out: - 
out: - 
out: 

out: 


Executing task ‘go’ 


ls -l /root 
total 24 


run: 
out: 
out: 
out: - 


drwxr-xr-x. 2 ri 


t root 


t root 4096 2H 


root 964 8H 
root 13720 8H 
root 3857 8 月 


964 Aug ?3 
root 13/20 Aug 23 


oot root 3857 Aug 23 
oot root 


® Aug 23 


5 21:23 ] 


7013 anaconda-ks_c 


2013 install.log 


2013 install.log.sys 


2013 anaconda-ks. < 


2013 install.Llog 


2013 install.log. 


2013 yum.loq 





syslog 


过 Fabric 的 env 对 象 定 义 网 关 模 式 ， 即 俗称 
的 中 转 、 您 垒 机 环境 。 定 义 格式 


其 中 





IP^192.168.1.23"73 4$ 4& LIP, FAZED MACH 
目标 主机 文件 上 传 与 执行 的 操作 ， 详 细 源 码 如 下 : 


[/home'/test/fabric/simple3.py ] 





#! /usr/bin/env python 

from fabric.api import * 

from fabric.context managers import * 

from fabric.contrib.console import confirm 


env.user-'root' 


env.gateway-'192.168.1.23' # 定 义 堡 垒 机 IP， 作 为 文件 上 传 、 执 行 的 
中 转 设备 


env.hosts-['192.168.1.21', '192.168.1.22'] 

















# 假 如 所 有 主机 密码 都 不 一 样 ， 可 以 通过 env .passwords 字 典 变 量 指定 


HAC 








env.passwords - ( 





'root0192.168.1.21: 22': 'LKs934jh3', 
'root0192.168.1.22: 22': 'LKs934jh3', 
'root@192.168.1.23: 22': 'UI7384hg6' # 堡 垒 机 账号 信息 
} 
lpackpathz"/home/install/lnmp0.9.tar.gz" # 本 地 安装 包 路 径 
rpackpath="/tmp/install" # 远 程 安装 包 路 径 
Qtask 


def put task O : 
run ("mkdir -p /tmp/install") 


with settings (warn only-True) : 


result = put (lpackpath, rpackpath) # 上 传 安装 包 


if result.failed and not confirm ("put file failed, 
Continue[Y/N]? ") : 


abort ("Aborting file put task! ") 
Qtask 
def run task O : # 执 行 远程 命令 ， 安 装 Jnmp 环 境 
with cd ("/tmp/install") : 
run ("tar -zxvf lnmp0.9.tar.gz") 


with cd ("1nmp0.9/") : # 使 用 with 继续 继 
承 /tmp/install 目 录 位 置 状 态 


run ("./centos.sh") 
Qtask 
def go O : # 上 传 、 安 装 组 合 
put task () 


run task () 





示例 通过 简单 的 配置 env.gateway='192.168.1.23' 就 可 
以 轻松 实现 堡 爸 机 环境 的 文件 上 传 及 执行 ， 相 比 
paramiko 的 实现 方法 简洁 了 很 多 ， 编 写 的 任务 函数 
完全 不 用 考虑 堡 侄 机 环境 ， 配 置 env.gateway 即 可 。 


7.4 Fabric 应 用 示例 


下 面 介绍 三 个 比较 典型 的 应 用 Fabric 的 示例 ， 涉 及 
文件 上 传 与 校 验 、 环 境 部 普 、 人 代码 发 布 的 功能 ， 读 
者 可 以 在 此 基础 进行 功能 扩展 ， 写 出 更 加 贴近 业务 
场景 的 工具 平台 。 


7.4.1 示例 1: 文件 打包 、 上 传 与 校 验 


我 们 时 御 做 一 些 文件 包 分 发 的 工作 ， 实 施 步 又 一 般 
征 移 压缩 打包 ， 再 批量 上 传 全 目标 服务 并 ， 最 后 做 
一 致 性 校 验 。 本 案例 通过 put〈) 方法 实现 文件 的 上 
传 ， 通 过 对 比 本 地 与 远程 主机 文件 的 md5， 最 终 实 
现 文件 一 致 性 校 验 。 详 细 源 码 如 下 : 


[/home'/test/fabric/simple4.py ] 








#! /usr/bin/env python 

from fabric.api import * 

from fabric.context managers import * 

from fabric.contrib.console import confirm 
env.user-'root' 

env.hosts-['192.168.1.21', '192.168.1.22'] 
env.password='LKs934jh3' 

@task 


@runs_once 





def tar task O : # 本 地 打包 任务 函数 ， 只 限 执行 一 次 
with lcd ("/data/logs") : 
local ("tar -czf access.tar.gz access.log") 
Qtask 
def put task O : # 上 传 文件 任务 函数 
run ("mkdir -p /data/logs") 
with cd ("/data/logs") : 


with settings (warn only-True) : #put CER) 出 现 异 
常 时 继续 执行 ， 非 终止 





result = put ("/data/logs/access.tar.gz", 
"/data/logs/access.tar.gz") 


if result.failed and not confirm ("put file failed, 
Continue[Y/N]? ") : 

















abort ("Aborting file put task! ") # 出 现 异 常 
时 ， 确 认 用 户 是 否 继续 ，《〈Y 继 续 ) 
Qtask 
def check task O : # 校 验 文件 任务 函数 


with settings (warn only-True) : 

















# 本 地 local 命 令 需 要 配置 capture=True 才 能 捕获 返回 值 


lmd5=local ("md5sum /data/logs/access.tar.gz", 
capture=True) .split (' ') [0] 


rmd5=run ("md5sum 
/data/logs/access.tar.gz") .split (' ') [0] 


if lmd5--rmd5: # 对 比 本 地 及 远程 文件 md5 信 息 
print "OK" 
else: 


print "ERROR" 





本 示例 通过 定义 三 个 功能 任务 函数 ， 分 别 实现 文件 
的 打包 、 上 传 、 校 验 功 能 ， 且 三 个 功能 相互 独立 ， 
隔 分 天 运行 如 : 





fab -f simple4.py tar_task # 文 件 打包 
fab -f simple4.py put_task # 文 件 上 传 


fab -f simple4.py check task  # 文 件 校 验 





当然 ， 我 们 也 可 以 组 合 在 一 起 运行 ， 再 添加 一 个 任 
4 (go, 代码 如 下 : 





Qtask 

def go (OO: 
tar task () 
put task () 


check task () 





运行 fab-f simple4.py goi A] AKIMLI E 
传 、 校 验 全 程 目 动 化 。 


7.4.2 示例 2: 部 署 LNMP 业 务 服务 环境 


业务 上 线 之 前 最 关键 的 一 项 任务 便 是 环境 部 署 ， 往 
往 一 个 业务 涉及 多 种 应 用 环境 ， 比 如 Web、DB、 


PROXY、CACHE 等 ， 本 示例 通过 env.roledefs 定 义 
不 同 主机 角色 ， 再 使 用 “(@roles ('webservers') ” 修 
饰 符 绑 定 到 对 应 的 任务 图 数 ， 实 现 不 同 角 色 主 机 的 
部 署 差 异 ， 详 细 源 但 如 下 : 


[/home'/test/fabric/simple5.py ] 








#! /usr/bin/env python 

from fabric.colors import * 
from fabric.api import * 
env.user='root' 


env.roledefs = { # 定 义 业务 角色 分 组 








'webservers': ['192.168.1.21', '192.168.1.22'], 


'dbservers': ['192.168.1.23'] 





} 
env.passwords = { 
'root@192.168.1.21: 22': 'SJk348ygd', 
'root0192.168.1.22: 22': 'KSh458j4f'., 
'root0192.168.1.23: 22': 'KSdu43598' 
} 
Qroles ('webservers') #webtask 任 务 函 数 引 用 'webservers ' 角 色 修 
饰 符 
def webtask () : # 部 署 nginx php php-fpm 等 环境 


print yellow ("Install nginx php php-fpm...") 


with settings (warn only-True) : 


run ("yum -y install nginx") 


run ("yum -y install php-fpm php-mysql php-mbstring 
php-xml php-mcrypt php-gd") 


run ("chkconfig --levels 235 php-fpm on") 
run ("chkconfig --levels 235 nginx on") 


@roles ('dbservers') # dbtask 任 务 函 数 引 用 'dbservers ' 角 色 修 饰 
符 





def dbtask O : # 部 署 mysql 环 境 
print yellow ("Install Mysql...") 
with settings (warn only-True) : 
run ("yum -y install mysql mysql-server") 


run ("chkconfig --levels 235 mysqld on") 








@roles ('webservers', 'dbservers') # publictask 任 务 函 数 同时 引 
用 两 个 角色 修饰 符 
def publictask O : # 部 署 公共 类 环境 ， 如 epe1L、ntp 等 


print yellow ("Install epel ntp...") 
with settings (warn only-True) : 


run ("rpm -Uvh 
http: //dl.fedoraproject.org/pub/epel/6/x86 64/epel- 


release-6-8.noarch.rpm") 
run ("yum -y install ntp") 
def deploy OO: 
execute (publictask) 
execute (webtask) 


execute (dbtask) 


让 | 


本 示例 通过 角色 来 区 别 不 同业 务 服务 环境 ， 分 别 部 
署 不 同 的 程序 包 。 我 们 只 需要 一 个 Python 脚本 就 可 
以 完成 不 同业 务 环境 的 定制 。 

74.3 ”示例 3: 生产 环境 代码 包 发 布 管理 

程序 生产 环境 的 发 布 是 业务 上 线 最 后 一 个 环节 ， 要 
求 具 备 源码 打包 、 发 布 、 切 换 、 回 深 、 版 本 管理 等 
功能 ， 本 示例 实现 了 这 一 整套 流程 功能 ， 其 中 版 本 
切换 与 回 深 使 用 了 Linux 下 的 软 链 接 实 现 。 详 细 源 
人 码 如 下 : 


[/home'/test/fabric/simple6.py ] 





#! /usr/bin/env python 

from fabric.api import * 

from fabric.colors import * 

from fabric.context managers import * 

from fabric.contrib.console import confirm 
import time 

env.user-'root' 

env.hosts-['192.168.1.21', '192.168.1.22'] 


env.password-'LKs934jh3' 


env.project dev source = '/data/dev/Lwebadmin/' # 开 发 机 项 目 
主 目录 
env.project tar source = '/data/dev/releases/' # 开 发 机 项 目 


压缩 包 存 储 目录 





env.project pack name = 'release' # 项 目 压缩 包 名 前 级， 文件 名 为 
release.tar.gz 











env.deploy project root = '/data/www/Lwebadmin/ ' # 项 目 生产 
环境 主 目录 

env.deploy release dir = 'releases' # 项 目 发 布 目录 ， 位 于 主 目录 
下 面 

env.deploy current dir = 'current' # 对 外 服务 的 当前 版 本 软 链接 

env.deploy version-time.strftime ("%Y%m%d") +"v2" # 版 本 号 


Qruns once 


LE # 获 得 用 户 输入 的 版 本 号 ， 以 便 做 版 本 回 滚 操 








return prompt ("please input project rollback version 
ID: ", default="") 


Qtask 


Qruns once 





def tar source O : # 打 包 本 地 项 目 主 目录 ， 并 将 压缩 包 存 储 到 本 地 压缩 
包 目 录 
print yellow ("Creating source package...") 


with lcd (env.project dev source): 


local ("tar -czf %s.tar.gz ." 96 
(env.project tar source + env.project pack name) ) 


print green ("Creating source package success! ") 
Qtask 
def put package O : # 上 传 任务 函数 

print yellow ("Start put package...") 

with settings (warn only-True) : 


with 
cd Cenv.deploy project root-env.deploy release dir): 


run ("mkdir %s" % Cenv.deploy version) ) #6) 





建 版 本 目录 


env.deploy full pathzenv.deploy project root + 
env.deploy release dir + 


"/"-env.deploy version 


with settings (warn only-True) : # 上 传 项 目 压 缩 包 至 此 目录 








result = put Cenv.project tar source + 
env.project pack name +".tar.gz", 


env.deploy full path) 


if result.failed and no ("put file failed, 
Continue[Y/N]? ") : 


abort ("Aborting file put task! ") 


with cd (env.deploy full path) : # 成 功 解压 后 删除 压缩 包 








run ("tar -zxvf %s.tar.gz" % 
(Cenv.project pack name) ) 


run ("rm -rf %s.tar.gz" % (env.project pack name) ) 
print green ("Put & untar package success! ") 
Qtask 
def make symlink O : # 为 当前 版 本 目录 做 软 链接 
print yellow ("update current symlink") 


env.deploy full pathzenv.deploy project root + 
env.deploy release dir + 


"/"*env.deploy version 





with settings (warn only-True) : # 删 除 软 链接 ， 重 新 创建 并 
肯定 软 链 源 目录 ， 新 版 本 生效 





run ("rm -rf %s" % Cenv.deploy project root + 
env.deploy current dir) ) 


run ("In -s %s 96s" % Cenv.deploy full path. 


env.deploy project root + 
env.deploy current dir) ) 
print green ("make symlink success! ") 
Qtask 
def rollback O : # 版 本 回 深 任 务 函数 


print yellow ("rollback project version") 





versionid- input versionid () # 获 得 用 户 输入 的 回 深 版 本 号 
if versionid--'': 
abort ("Project version ID error, abort! ") 


env.deploy full pathzenv.deploy project root + 
env.deploy release dir + 


"/"4versionid 


run ("rm -f %s" 96 env.deploy project root + 
env.deploy current dir?) 


run ("In -s 96s 96s" % (Cenv.deploy full path. 
env.deploy project root + env. 


deploy current dir) ) # 删 除 软 链接 ， 重 新 创建 并 指定 软 链 源 目录 ， 新 
版 本 生效 


print green ("rollback success! ") 








Qtask 


def go ©: # 自 动 化 程序 版 本 发 布 入 口 函数 





tar source () 
put package () 


make symlink () 





本 示例 实现 了 一 个 通用 性 很 强 的 代码 发 布 管理 功 


Be, sce eRe SIR, TKR, #8 
可 以 通过 切换 current 的 软 链 来 实现 ， 非 常 灵 活 。 访 
功能 的 流程 图 如 图 7-5 所 示 。 


各) 一 ——— E 


anini 开发 环境 生产 环境 集群 


有 current -> /data/www/Lwebadmin/releases/20140309v2 
eleas 


r 

20140309v1 
css 
images 
index.php 
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图 7-5 ”生产 环境 代码 包 发 布 管理 流程 图 
在 生产 环境 中 Nginx 的 配置 如 下 : 








server name domain.com 
index index.html index.htm index.php: 


root /data/www/Lwebadmin/current; 





将 站 点 根 目录 指 

向 “data/www/Lwebadmin/current”， 由 于 使 用 Linux 
软 链接 做 切换 ， 管 理 员 的 版 本 发 布 、 回 深 操 作用 户 
无 感知 ， 同 时 也 规范 了 我 们 业务 上 线 的 流程 。 





Q 参考 提示 7.2 节 fab 名 用 参数 说 明 参 考 
http://docs.fabfile.org/en/1.8/ 官 网 文档 。 


第 8 章 ”从 “ 零 ” 开 发 一 个 轻 量 级 WebServer 


当今 互联 网 行业 中 ，Web 服 务 几 乎 履 凋 所 有 业务 ， 

包括 搜索 、 电 商 、 社 交 、 视 频 、 游 戏 等 。 作 为 该 行 
业 的 从 业 人 员 ， 尤 其 是 一 名 运 维 人 员 ， 深 入 了 解 

HTTP 协 议 的 工作 原理 及 机 制 尤为 重要 ， 可 以 帮助 
运 维 人 员 对 Web 服 务 优 化 、 运 营 提供 理论 指导 。 比 
如 前 端 元 素 结构 是 否 合理 ，HTTP 缓 存 配置 是 否 上 上 

业务 特性 相符 ，HTTP 压 缩 比 应 该 如 何 选 择 等 ， 通 
过 这 些 优 化 点 可 以 提高 业务 服务 质量 ， 用 户 体验 也 
会 得 到 不 少 提 升 。 本 章节 介绍 作者 开发 的 一 轻 量 级 
WebServer Yorserver， 从 一 个 WebServer 所 有 具备 
详细 介绍 每 个 功能 点 的 实现 原理 
537 1055 








8.1 Yorserver^T 28 
8.1.1 功能 特点 


Yorserver 是 基于 Python 实现 的 轻 量 级 WebServer， 
具备 一 般 WebServer 的 基本 功能 ， 文 持 Linux 13865 
Xx86 系 统 。Yorserver 安 装 、 配 置 都 非常 简单 ， 其 最 
新 版 本 为 1.0.1， 上 其 备 以 下 功能 特点 : 


支持 自 定义 response 服 务 及 协议 版 本 ; 
` 文 持 Expires 及 max-age 功 能 :; 

` 文 持 多 进程 或 线程 开启 ; 

文 持 错 误 页 及 默认 页 配置 ; 

` 文 持 access_log 及 error_log 配 置 ， 

文 持 gzip 压 缩 配置 ; 

文 持 安全 套 连 接 服务 HITPS; 

:支持 HTTP MIME 自 定义 配置 ; 

. 文 持 PHP、Perl、Python 脚 本 cgi 访 问 ; 
SCALE TF. 

Yorserverf£ FF H KAWA I fe w H n 18-1 Pir 











示 ，“ 可 更 改 "表示 支持 配置 文件 定义 ， 另 外 需要 确 
保 cgi-bin 中 的 CGI 文 件 具 备 可 执行 权限 ， 具 体操 作 
命令 : chmod+x index.pl. 
B- yorserver 
bin 项 目 依 赖 库存 放 目 录 
lj cgi-bin 5GT 文 件 存放 目录 《可 更 改 ) 
| conf 项 目 配置 文件 存放 目录 
key TTPs 私 朝 、 证 书 存放 目录 (可 更 改 ) 
) logs 访问 、 错误 日 志 存 放 目 录 (可 更 改 ) 
j sbin 自动 脚本 存放 目录 《〈 可 更 改 ) 
j src 源码 目录 


图 8-1 Yorserver 目 录 结 构 
i847: sbin/server.sh start， 局 动 Yorserver 服 务 。 


8.1.2 ”配置 文件 


Yorserver 采 用 ConfigObj 该 取 配 置 文件 ，ConfigObj 
是 一 个 简单 且 功 能 强大 的 用 于 读 写 配置 文件 的 
Python 应 用 接口 。 提 供 一 个 简单 的 编程 接口 和 一 个 
E 的 语法 配置 文件 。Yorserver 完 整 的 配置 文件 内 
容 如 下 : 


[ /usr/local/yorserver/conf/yorserver.conf ] 


HE- 


p-Ë 


w w te A He 


d 








# server version: Add response HTTP header server version 
information. 


server version - "YorServer1.0" 


# bind ip: Allows you to bind yorserver to specific IP 


addresses. 
bind ip-z"0.0.0.0" 


# port: Allows you to bind yorserver's port, http default 
80 and Https 443. 


port-80 


# sys version: Add response HTTP header python version 
information. 


Sys version = "" 


# protocol version: Add response HTTP header protocol 
version. 


protocol version = "HTTP/1.0" 


# Expires: Add response HTTP header Expires and Max-age 
version. format: d/h/m) . 


Expires="7d" 


# Multiprocess: configure yorserver Multi process 
support (on/off) . 


Multiprocess="off" 


# Multithreading: configure yorserver Multi threading 
support (on/off) . 


Multithreading-"on" 

# DocumentRoot: configure web server document root. 
DocumentRoot="/usr/local/yorserver/www" 

# page404: configure web server deafult 404 page. 
page404="/404.htm1" 

# Indexes: directory list (on/off). 

Indexes-"off" 


# indexpage: configure web server deafult index page. 


indexpage="/index. html" 


# Logfile: configure web server log file path, disable logs 
Logfile="". 


Logfile-"/usr/local/yorserver/logs/access.log" 

# errorfile: configure web server error file path. 
errorfile="/usr/local/yorserver/logs/error.log" 
[gzip] 

# gzip: Enable (on) or Disable (off) gzip options. 
gzip="on" 

# configure compress level (1~9) 

compresslevel=1 

[ssl] 


# ssl: Enable (on) or Disable (off) HTTPS options, port 
options must configure "443". 


ssl="off" 

# configure privatekey and certificate pem. 
privatekey="/usr/local/yorserver/key/server.key" 
certificate="/usr/local/yorserver/key/server.crt" 

[cgim] 

4 cgi moudle: Enable (on) or Disable (off) cgi support. 
cgi moudle-"on" 


# cgi path: configure cgi path, multiple cgi path use ', 
delimited, cgi path in bin directory. 


cgi path-'/cgi-bin', 
# cgi extensions: configure cgi file extension. 


cgi extensions-" ('.cgi', '.py', '.pl', '.php') " 


# contentTypes: configure file mime support. 
[contentTypes] 

css="text/css" 

doc="application/msword" 

gif="image/gif" 

gz="application/x-gzip" 





了 解 Nginx 或 Apahce 配 置 的 人 对 Yorserver 的 配置 并 
不 会 陌生， 读者 可 以 尝试 通过 修改 不 同 参数 值 ， 来 
观察 Web 服 务 器 与 客户 端 表 现 出 的 差异 ， 客 户 病 可 
以 使 用 HttpWatch 工 具 来 跟踪 。 下 面 介 绍 Yorserver 
各 个 功能 点 具体 的 实现 原理 及 方法 。 


8.2 ”功能 实现 方法 


Python 默认 自 带 的 模块 已 经 可 以 实现 简单 的 HTTP 
服务 器 ， 如 BaseHTTPServer 模 块 提 供 基 本 的 Web 服 
务 和 处 理 器 类 ; SimpleHTTPServer 模 块 包 含 GET 与 
HEAD 请 求 与 处 理 支 持 ; CGIHTTPServer 模 块 包含 
处 理 POST 请 求 的 支持 。Yorserver 是 基于 
BaseHTTPServer 模 块 Web 服 务 类 HTTPServer 扩 展 而 
来 ， 同 时 也 使 用 CGIHTTPServer 模 块 提 供 CGI 程 序 
的 接收 与 执行 。 下 面 详细 介绍 各 个 功能 点 。 
8.2.1 HTTP 绥 存 功能 

(1) Expires 机 制 
在 HITP/.1 协 议 中 ，Expires 字 段 声 明了 一 个 网 页 或 
URL 地 址 不 再 被 浏览 髓 缓存 的 时 间 ， 一 旦 超过 了 这 
个 时 间 ， 浏 览 器 会 重新 问 原始 服务 器 发 起 新 请 求 ， 
在 Yorserver 中 Expires 字 段 的 配置 如 下 ， 指 

定 “Expires="7d"”， 表 示 文 件 在 客户 端 缓存 7 天 。 

















# Expires: Add response HTTP header Expires and Max-age 
version. format: d/h/m (day/hour/minute) . 


Expires="7d" 





Vj la) YorserverAk F MJY p 
URL“http://192.168.1.20/index2.html”, iH 


HttpWatch 进 行 跟踪 ， 跟 踩 结果 见 多 8-2， 可 见 
Expires 字 段 显 示 “Tue，22 Jul 2014 23: 18: 49 
GMT”， 请 求 原 始 服务 器 时 间 Date 字 段 为 “Tue，15 
Jul 201415: 18: 49 GMT”， 由 于 Date 描 述 的 时 间 
为 世界 标准 时 间 ， 换 算 成 本 地 时 间 需 “+8”， 

即 “Tue， 15 Jul 2014 23: 18: 49”， 加 上 配置 的 7 天 
(7d) ji EUIS 结果 等 于 Expires 字 段 值 。 











278 bytes sent to 192. 163. 1.20:30 
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图 8-2 ”返回 的 Expires 字 段 信 息 


关于 Yorserver 实 现 文件 过 期 Expires 的 方法 ， 实 现 原 
理 为 返回 “当前 时 间 ”+“ 配 置 过 期 时 间 ”， “过 期 时 

间 ? 是 通过 datetime.timedelta O 方法 转换 不 同 单位 
时 间 后 ， 再 与 “当前 时 间 ” 累 加 ， “过 期 时 间 ” 文 持 通 
过 days CHO . hours (小 时 ) 、minutes (分 钟 ) 等 





单位 来 表示 ， 以 下 为 Yorserver 文 件 过 期 Expires 的 实 
现 方法 : 








# 文 件 过 期 Expires 实 现 方法 
def get http expiry (_Expirestype, num): 
if _Expirestype=="d": # 当 前 时 间 + 过 期 时 间 (日 、 小 时 、 分 钟 》 


expire date = datetime.datetime.now () + 
datetime.timedelta (days- num) 


elif _Expirestype=="h": 


expire_date = datetime.datetime.now () + 
datetime.timedelta (hours=_num) 


else: 


expire date = datetime.datetime.now () + 
datetime.timedelta (minutes=_num) 


return expire date.strftime ('96a, 96d 96b 96Y 96H: 96M: %S 
GMT ') # 格 式 化 时 间 为 


# Expires 格 式 





(2) max-age 栅 制 


客户 疹 另 一 缓存 机 制 则 是 利用 HITTP 消 筷 头 中 

的 “cache-control” 来 控制 ， 其 中 max-age 字 上 段 实 现在 
原始 服务 器 返回 的 max-age 配 置 的 秒 数 内 ， 浏 览 器 
将 不 会 发 送 相 关 请 求 到 服务 器 ， 而 是 由 绥 存 直接 提 
供 ， 超 过 这 一 时 间 段 后 才 回 原始 服务 器 及 起 请 求 ， 
由 服务 器 决定 返回 新 数据 还 是 仍 由 缓存 提供 。 与 
Expires 不 同 ，max-age 是 通过 指定 相对 时 间 秒 数 来 





实现 绥 存 过 期 ， 当 与 Expires 同 时 存在 时 ，max-age 
会 履 羡 Expires。 下 面 详细 介绍 max-age 的 实现 原 

理 ， 由 于 max-age 与 Expires 的 时 间 结 果 是 等 价 的 ， 
只 是 表现 形式 不 同 ， 因 此 只 要 得 到 其 中 一 个 值 都 可 
以 计算 出 另 一 个 值 。Yorserver 是 通过 已 知 Expires 值 
计算 出 max-age， 实 现 源 码 如 下 : 














# 定 义 过 期 时 间 类 型 ， 统 一 成 “ 秒 “单位 


ExpiresTypes = ( 


"q" : 86400, 
"h" : 3600, 
"m" : 60, 


} 
# 返 回 mnax-age 方 法 ， 通 过 不 同时 间 单 位 秒 * 数 量 得 到 











def secs from days ( seconds, num) : 
return seconds * num 


#7 X"cache control"jk[ pg 7 





Expirestype="d" 
Expirenum=7 


CACHE_MAX_AGE=pubutil.secs_from_days (ExpiresTypes[Expirestype ] 
int (Expirenum) ) 


cache control = 'public; max-age=%d' 96 (CACHE MAX AGE. ) 





以 过 期 时 间 “7d” 为 例 ， 计 算 公 式 
为 "86400*7=604800”， 返 回 完整 “Cache-Control 内 


容 为 “Cache-Control: public; max-age=604800”， 效 
果 如 图 8-3 所 示 。 
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Al8-3 ”返回 max-age 字 段 信 息 
(3) Last-Modified#L till 


最 后 一 种 浏览 缓存 机 制 为 Last-Modified， 其 原理 是 
zs D Modified-Since 请 求 头 将 先前 接收 到 服 
端 文 件 的 Last-Modified 时 间 惟 信息 进行 发 送 ， 
出 进 行 比 对 验证 ， 通 过 这 个 时 间 戳 
判断 客户 端的 文件 是 否 是 最 新 ， 如 不 是 最 新 的 ， 则 
返回 新 的 内 容 CHTTP 200) ， 如 果 是 最 新 的 ， 则 返 
IHHTTP 304 告 诉 客户 端 其 本 地 绥 存 的 文件 是 最 新 
IW, Wom Ha PR. Pee Punta WE RMA 





加 载 文件 了 。 有 具体 流程 图 如 图 8-4 所 示 。 


(C NI B coe A 
( HITP/1.1 2000K ) 
^ 





不 匹配 (更 新 ) 





(GET /style.css HTTP1.1 人 

\If-Modified-Since: Thu, 25 Dec 2008 / 人 
t 
D EREM) 


ERD 
图 8-4 Last-Modified 机 制 流 程 图 


Yorserver 实 现 Last-Modified 绥 存 机 制 的 原理 ， 首 先 
RAR RK AERA Pragma, Cache-Control F Ex, 
检查 其 值 是 否 为 no-cache， 表 示 客 户 端 要 求 不 组 
存 ， 通 常 是 用 户主 动 强 制 刷 新 页 面 ， 如 “Ctrlt+F5” 组 
合 键 ， 将 返回 HTTP 200 状 态 ， 奋 则 ， 将 请 求 涉 部 If- 
Modified-Since 字 段 与 服务 器 端 文件 mtime (最 后 更 
新 时 间 ) 进行 比较 ， 相 匹配 则 说 明文 件 没 有 更 新 ， 
将 返回 “HTTP/1.0 304 Not Modified”， 不 匹配 则 返 
回 “HTTP 200”， 实 现 源码 如 下 : 











client cache cc = self.headers.getheader ('Cache-Control') 
# 获 取 请 求 头 Cache-Control 值 


client cache p = self.headers.getheader ('Pragma') HR BUR 


求 头 Pragma 值 


# 获 取 请 求 头 If-Modified-Since 值 ， 以 便 与 服务 器 端 文件 mtime 进行 比较 





Modified Since- self.headers.getheader ('If-Modified-Since') 





# 过 滤 用 户 强制 刷新 的 场景 ， 将 返回 HTTP 200 状态， 否则 获取 If-Modified- 
Since 值 








if client cache cc--'no-cache' or client cache p--'no-cache' 
or X 


(client cache cc--zNone and client cache p==None and 
Modified Since-zNone) : 


client modified-None 














else: 
try: ARRAS AS |] 0] B ai E OR Ren 
client modified = Modified Since.split ('; ') [0] 
except: 


client modified-None 


# 将 文件 mtime 时 间 格 式 转 为 Last-Modified 格 式 ， 如 “Mon， 29 Dec 2008 
16: 51: 22 GMT" 


file last modified-self.date time string (fs.st mtime) 











if client modified--file last modified: # 比 较 If-Modified- 
Since 与 文件 mtime 值 
self.send response (304) BUG FO WIR [3943s 





self.end headers () 


else: 














self.send response (200) # 不 匹配 则 返回 200 状 态 

# 将 文件 mtime 作为 Last-Modified 返 回 

self.send header ('Last-Modified', file last modified) 
self.send header ('Cache-Control', cache control) 
self.send header ('Expires', expiration) 


self.send header ('Content-type', content type) 


| 


客户 端 请 求 及 响应 效果 如 图 8-5 所 示 ， 当 文件 没有 
发 生 更 新 时 返回 “HTTP/1.0 304 Not Modified": 
态 ， 当 手工 修改 文件 ， 使 文件 mtime 发 生 改 变 时 ， 
将 返回 “HTTP 200” 状 态 。 


— —]1 T 1 
Overveen | Tene Chart | Headers Cookiet | Cache | Query String | POST Data | 
394 bytes sert tə 192. 260. 122-96 Q Fed Epon bytes recevedby 192.148 1 292 3 
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8.22 HTTP 压缩 功能 


局 用 HTTP 内 容 压缩 ， 可 为 我 们 节省 不 少 市 宽 成 

本 ， 并 且 也 可 以 加 快 网 页 访问 速度 ， 提 升 用 户 体 
验 。 目 前 主流 的 浏览 器 都 支持 客户 并 解压 功能 ， 
Yorserver 服 务 器 端 采 用 gzip 压 缩 机 制 ， 其 原理 是 在 
文件 传输 之 前 ， 先 使 用 gzip 压 缩 后 再 传输 给 客户 
端 ， 客 户 端 接收 之 后 再 由 浏览 堪 解 压 显 示 ， 这 样 虽 


然 稍微 占用 了 一 些 服 务 器 和 客户 端的 CPU 资源 ， 但 
是 换 来 的 是 更 高 的 市 宽 利 用 靳 。 对 于 纯 文 本 

(Chtml、css、js 等 ) KH, RIET EA o 
Yorserver 压 缩 配置 选项 如 下 ， 其 中 compressleve] 为 
压缩 比 ， 其 值 为 1~9, “1 压缩 比 最 小 处 理 速 度 最 
BR, “9” 压 缩 比 最 大 但 处 理 速 度 最 慢 ， 损 耗 CPU 资 
Vi. 




















[gzip] 

# gzip: Enable (on) or Disable (off) gzip options. 
gzip="on" 

# configure compress level (1~9) 


compresslevel=9 





关于 实现 HTTP 内 容 压缩 的 方法 ， 需 要 加 载 gzip、 
cStringIO 两 个 模块 ，gzip 实 现 内 容 的 压缩 功能 ， 
cStringIO 的 作用 是 操作 内 存 文 件 ， 读 取 磁 盘 文 件 内 
容 写 入 内 存 文 件 ， 再 做 压缩 处 理 ， 最 后 输出 压缩 后 
的 内 容 返 回 给 客户 问 ， 详 细 源 码 如 下 : 














#HTTP 内 容 压 缩 方 法 ， 参 数 buf 为 文件 内 容 ，_compresslLevel1 为 压缩 比 
def compressBuf (buf, _compresslevel) : 


import gzip, cStringIO 





zbuf = cStringIO.StringIO © # 创 建 一 个 内 存 流 文件 对 象 


# 创 建 一 个 gzip 文 件 对 象 





zfile = gzip.GzipFile (mode = 'wb', fileobj = zbuf, 
compresslevel = _compresslevel) 


zfile.write (buf) # 写 入 文件 压缩 内 容 
zfile.close () 
return zbuf.getvalue () # 返 回 压缩 内 容 


f = open (DocumentRoot + sep + self.path) 





if gzip=="on" # 开 启 gzip 选 项 则 调用 压缩 方法 compressBuf () ， 否 
则 直接 读 取 文件 内 容 

compressed content =compressBuf (f.read ©, 
compresslevel) 
else: 


compressed content = f.read © 





HTTP 内 容 压 缩 效 果 如 图 8-6 所 示 ，index2.html 文 件 
原始 大 小 为 6104 字 节 ， ae et 
压缩 了 81% 的 内 容 ， 效 果 很 理想 


8.2.3 HTTP SSL 功 能 


HTTPS (Hyper Text Transfer Protocol over Secure 
Socket Layer) 是 以 安全 为 目标 的 HITP 通 道 ， 可 以 
理解 成 HTTP 的 安全 版 ， 即 HTTP 协 议 下 加 入 SSL 
层 ，HTTPS 的 安全 基础 是 SSL， 因 此 加 密 的 详细 内 
容 吏 需要 SSL (Secure Sockets Layer， 安 全 套 接 

层 ) 。 目 前 HITPS 广 泛 用 于 互联 网 上 安全 敏感 的 通 
言 ， 例 如 电 商 在 线 交 易 文 付 方面 。 
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图 8-6 HTTP 压缩 效果 网 


天 于 Yorserver 配 置 SSL 的 选项 ， 需 要 修改 监听 端口 
为 443， 在 局 用 SSL 同 时 需要 指定 私 钥 privatekey 及 
证 书 certificate 两 个 选项 ， 有 具体 配置 如 下 : 





# port: Allows you to bind yorserver's port, http default 
80 and Https 443. 


port-443 
[ssl] 


# ssl: Enable (on) or Disable (off) HTTPS options, port 
options must configure "443". 


ssl="on" 
# configure privatekey and certificate pem. 


privatekey="/usr/local/yorserver/key/app.key" 


certificate="/usr/local/yorserver/key/server.crt" 





具体 的 功能 实现 使 用 了 OpenSSL、SocketServer 两 个 
模块 ， 其 中 OpenSSEL 负 责 SSL 的 功能 ，SocketServer 
负责 基础 通信 。 详 细 源 码 如 下 : 





class SecureHTTPServer (HTTPServer) : 
def | init (self, server address, HandlerClass) : 


BaseServer. init__(self, server address, 
HandlerClass) 














ctx = SSL.Context (SSL.SSLv23 METHOD) # 定 义 一 个 SSL 
连接 

ctx.use privatekey file (privatekey) # 指 定 私 钥 文 件 

ctx.use certificate file (certificate) # 指 定 证 书 文 
件 


self.socket = SSL.Connection (ctx, 
socket.socket (self.address family. \ 


self.socket type) ) # 创 建 一 个 连接 对 象 ， 参 数 使 用 给 定 的 
OpenSSL.SSL.ContextSzf/lfllSocket 











self.server bind O # 服 务 绑 定 并 激活 





self.server activate () 





生成 密 钥 与 证 书 可 以 参考 以 下 步 又; 





# 生成 RSA 密 钥 server . key 


# openssl genrsa -des3 -out server.key 1024 


# 复制 一 个 密 钥 文件 app .key〔 无 需 输入 密码 ) 

# openssl rsa -in server.key -out app.key 

# 生成 一 个 证 书 请 求 server .csr 

# openssl req -new -key server.key -out server.csr 
# 签发 证 书 server .crt 


# openssl x509 -req -days 365 -in server.csr -signkey 
server.key -out server.crt 





下 一 步 将 生成 的 密 钥 文件 app.key、 证 书 文件 
server.crt 复 制 到 yorserver.conf 配 置 指定 路 径 即 可 ， 
如 /uswlocal/yorserverkey/app.key 

与 /usr/local/yorserver/key/server.crt， 最 后 重启 
Yorserver 服 务 ， 效 果 如 图 8-7 所 示 。 
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8.22, 目录 列表 功能 


Medio terrse ee ee 

通 应 用 在 文档 及 下 载 服 务 中 ， 当 然 ， 对 安全 级 别 要 
求 较 高 的 站 点 ， 建 议 还 是 关闭 此 功能 。Yorserver 文 
持 目 录 列 表 功 能 ， 在 配置 中 开局 /关闭 的 方法 如 下 : 

















# Indexes: directory list (on/off) . 


Indexes="on" 





实现 的 方法 是 通过 os.listdir O 方法 获取 站 点 目录 
(系统 绝对 路 径 ) 列表 ， 通 过 前 


闹 “<li>”、“<a>”HTML 标 签 格式 化 输出 ， 具 体 实现 
源码 如 下 : 





def list directory (self, path) : 
try: 


list - os.listdir (path) # 获 取 当 前 目录 系统 绝对 路 径 列 表 


except os.error: 





self.send error (404, "No permission to list 
directory") ; 


return None 


list.sort (lambda a, b: cmp (a.lower () , 
b.lower O ) ) # 不 区 分 大 小 写 对 目录 列表 做 排序 








f = StringIO O # 创 建 内 存 文件 对 象 


f.write ("<h2>Directory listing for %s</h2>\n" 96 
self.path) #self.path 为 当前 URL 路 径 


f.write ("<hr>\n<ul>\n") 


# 输 出 上 一 级 目录 URL 链 接 
f.write ('«li»«a href="%s">Parent Directory</a>\n' % 
(pubutil.parent dir (self.path) ) ) 


HR MA Se SCPE PA 


name) 


for name in list: 


fullname = os.path.join (path, 


displayname = name = cgi.escape (name) #HTML 字 符 转 
义 
if os.path.islink (fullname) : 
displayname = name + "Q" 
elif os.path.isdir (fullname) : 
displayname = name + "/" 
name = name + os.sep 
f.write ('«li»«a href="%s">%s</a>\n' % (name, 


displayname) ) 


f.write ("</ul>\n<hr>\n") 
f.seek (0) 


return f 





目录 列表 效果 如 图 8-8 所 示 。 
8.2.5 动态 CGI 功能 


CGI (Common Gateway Interface， 通 用 网 关 接 口 ) 
实现 让 一 个 客户 闪 从 网 页 浏览 右 回 在 网 络 服务 器 上 
的 程序 请 求 数 据 。CGI 摘 述 了 客户 端 和 服务 器 程序 


之 则 传输 数据 的 一 种 标准 。 编 写 CGI 程 序 的 语言 有 
Shell, Perl, Python, Ruby. PHP. TCL, 
C/C++ 等 。Yorserver 文 持 这 些 CGI 程 序 的 调用 ， 需 
要 修改 相关 配置 ，cgi_path 参 数 指定 CGI 程 序 的 存放 
目录 ， 默 认为 yorserver/bin/cgi-bin 目 录 ， 指 定 多 个 
Hof Hi", "4r: cgi extensions2 ZX184ECGI 
程序 扩展 名 支持 详细 见 下 面 的 配置 : 











[cgim] 
# cgi moudle: Enable (on) or Disable (off) cgi support. 
cgi moudle-"on" 


# cgi path: configure cgi path. multiple cgi path use ' 
delimited, cgi path in bin directory. 


cgi path-z'/cgi-bin', 
# cgi extensions: configure cgi file extension. 
cgi extensionsz" ('.cgi', '.py', '.pl', '.php') " 


p—M———————— 
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图 8-8 ”目录 列表 


Yorserver 采 用 CGIHTTPServer 模 块 来 实现 CGI 文 
持 ， 其 CGIHTTPRequestHandler 类 继承 了 
SimpleHTTPRequestHandler 类 ， 因 此 ， 该 类 除了 可 
以 执行 CGI 程序 外 还 文 持 静 态 文 件 服 务 。 另 外 在 主 
服务 类 中 需要 继承 CGIHTTPRequestHandler 基 类 ， 
例如 : class 

ServerHandler (CGIHTTPRequestHandler) ， 其 他 
实现 源码 如 下 : 





CGIHTTPRequestHandler.cgi directories = cgi path # 指 定 CGI 
路 径 


if cgi moudle--"on" and 
self.path.endswith (cgi extensions) : # 开 启 CGI 且 在 配置 








# 扩 展 名 列表 中 


return CGIHTTPRequestHandler.do GET (self) # 调 用 cgi 
do GET O 方法 ， 返 回执 行 结果 














下 面 列 举 Python 与 PHP CGI 实现 冒 泡 排序 法 的 示 
例 。 代 人 码 如 下 : 


[bin/cgi-bin/index.py ] 





#! /usr/bin/env python 
Zcoding-utf-8 
print "Content-type: text/html\n\n"; 


print "<html><head><title>Python E WA yillin</title></head> 
<body>" 


my_list = [23, 45, 67, 3, 56, 82, 24, 23, 5, 77, 19, 33, 51, 99] 
def bubble (bad_list) : 
length = len (bad_list) - 1 
sorted = False 
while not sorted: 
sorted = True 
for i in range (length) : 
if bad_list[i] > bad_list[i+1]: 
sorted = False 


bad_list[i], bad _list[i+1] = bad_list[i+1], 
bad list[i] 


bubble (my list) 


print my list 


print "«/body»«/html»" 





执行 结果 如 图 8-9 所 示 。 


— 
[€ S CIDERBIOEITENXCT 





* Q:—- stp K Cear | (7) View * E Summary Qed ~ V Pte + | see ” dh | en e| D Help © 
Sme Tme Chart ' Tre Set Reived Mefof Renit Tee i 


257 irequest 
4 





| Overview | Time Chart | Headers | Cookies | Cache | Query String | POST Data | Contert Stream | 1 Warnings (1) 
| 283 bytes sent to 192.168.1200 Q fied Be Export 287 bytes received by 192.268. 2 20256844 
| GET ;/cgi'bir/imdex.py K779/1.1 »||N779/1.0 200 Script output follows 


I Server: TorServeri.9 


Mesilia/$.0 (au~petibies NITE 9.0, Timdoww WE $.1, 7 
| Accept-Encoding gzip. deflate 
z Host: 192.168.21.20 
j^ å : M 








图 8-9 Python CGI 运行 结果 图 


【bin/cgi-bin/index.php ] 





#! /usr/bin/env php 
<? php 
echo "Content-type: text/html\n\n"; 


echo "<html><head><title>PHP Sift Pl it</title></head><body> 
<pre>"; 


function bubble (array $array) { 


for ($i-0, $len=count ($array) -1; $i<$len; ++$i) ( 
for ($j=$len; $j>$i; --$j) { 


if ($array[$j] < $array[$j-1]) 


{ 
$temp = $array[$j]: 
$array[$j] = $array[$j-1]; 
$array[$j-1] = $temp; 
y 
} 
} 
return $array; 
} 


print_r (bubble (array (23, 45, 67, 3, 56, 82, 24, 23, 5, 77, 
19, 33, 51, 99) ) ) ; 


echo "</pre></body></html>"; 


? > 





执行 结果 如 图 8-10 所 示 。 


[0] => 3 

[i] “> 5 

[2] => 19 
[3] => 25 
[4] => 23 
[35] => 24 
[6] => 33 
[7] => 45 
t$) -=> $1 
[9] => 56 
(20) => € 
[i1) => 77 
{22} => $2 
[13] — 99 





Q find > Ba Pr 
ÍBTT9/1.0 200 Serips Lus follows 
|Server: Torferveri. 





|Date: Sar. M AL Mii dacipds ur 


‘Language: ah-CW | 
(Usez-Agest: Mozllla/5.0 (compatibles MSIE 5.0, Wiedevs WT 6.1; 1, | Content-type: text/html el 
- [en mnim dat nee R 





48-10 PHP CGI 运行 结果 图 


第 9 章 ” 集 中 化 管理 平台 Ansible 详 解 


Ansible Chttp://www.ansibleworks.com/) 一 种 集成 
IT 系统 的 配置 管理 、 应 用 部 普 、 执 行 特定 任务 的 开 
源 平台 ， 是 AnsibleWorks 公 司 名 下 的 项 目 ， 该 公司 
由 Cobbler 及 Func 的 作者 于 2012 年 创建 成 江 。 
Ansible 基 于 Python 语言 实现 ， 由 Paramiko 和 


CARA] 


,部署 简 单 ， 只 需 在 主 控 端 部 署 Ansible 环 境 ， 被 控 
漠 无 需 做 任何 操作 


:默认 使 用 SSH (Secure SHell) 协议 对 设备 进行 管 
理 ; 


` 主 从 集中 化 管理 ， 

配置 简单 、 功 能 强大 、 扩 展 性 强 ; 

. 文 持 API 及 目 定 义 模块 ， 可 通过 Python 轻松 扩展 ; 
:通过 Playbooks 来 定制 强大 的 配置 、 状 态 管理 ; 
:对 云 计算 平台 、 大 数据 都 有 很 好 的 文 持 ; 


:提供 一 个 功能 强大 、 操 作 性 强 的 Web 管 理 界 面 和 
REST API 接 口 _ AWX 平 台 。 


Ansible 的 架构 图 见 图 9-1， 用 户 通 过 Ansible 编 排 引 
擎 操作 公共 /私有 云 或 CMDB (配置 管理 数据 库 ) 中 
的 主机 ， 其 中 Ansible 编 排 引擎 由 Inventory〈 主 机 与 
组 规则 ) 、API、Modules《〈 横 块 ) Plugins (4f 
件 ) 组 成 。 


Ansible 与 Saltstack 最 大 的 区 别 是 Ansible 无 需 在 被 控 
ERLE EA AGP in REE, ERD BRR SSH 
进行 远程 命令 执行 或 下 发 配置 ， 相同 点 是 都 具备 功 
能 强大 、 有 灵活 的 系统 管理 、 状 态 配 置 ， 都 使 用 
YAML 格 式 来 描述 配置 ， 两 者 都 提供 丰富 的 模板 及 
API， 对 云 计算 平台 、 大 数据 都 有 很 好 的 支持 。 
Ansible 在 GitHub 上 的 地 址 为 
https://github.com/ansible/， 其 中 提供 了 不 少 配 置 例 
子供 参考 ， 本 文 测试 的 版 本 为 1.3.2。 











图 9-1 Ansible4 jJ [| 


Q fez, Ansible 提 供 了 一 个 在 线 Playbook 分 宇 
平台 ， 地 址 : https:Wgalaxy.ansibleworks.com， 访 平 
台 汇 聚 了 各 类 第 用 功能 的 角色 ， 找 到 适合 目 己 的 
Role (AE) 后 ， 只 需要 运行 “ansible-galaxy install 
作者 id. 角 色 包 名 称 ? 就 可 以 安装 到 本 地 ， 比 如 想 安 
装 bennojoy 提 供 的 Nginx 安 装 与 配置 的 角色 ， 直 接 运 
行 “ansible-galaxy install bennojoy.nginx” Bl! Hy zz 43] 
本 地 ， 访 角色 的 详细 地 址 为 : 


https://galaxy.ansibleworks.com/list£/roles/2. 


为 了 方便 读者 更 系统 化 地 了 解 Ansible 的 技术 点 ， 本 
章 将 针对 相关 撤 术 点 进行 详细 展开 介绍 。 








91 YAML 语 言 


YAML 是 一 种 用 来 表达 数据 序列 的 编程 语言 ， 它 的 
主要 特点 包括 : 可 读 性 强 、 语 法 简单 明了 、 支 持 丰 
富 的 语言 解析 库 、 通 用 性 强 等 。Ansible 与 Saltstack 
环境 中 配置 文件 都 以 YAML 格 式 存在 ， 熟 悉 YAML 
结构 及 语法 对 我 们 理解 两 环境 的 相关 配置 至 关 重 
要 。 下 面 的 示例 定义 了 在 master 的 不 同业 务 坏 境 下 
文件 根 路 径 的 摘 述 : 




















file roots: 
base: 

- /srv/salt/ 
dev: 

- /srv/salt/dev 
prod: 


- /srv/salt/prod 


本 节 主 要 通过 YAML 描述 与 Python 的 对 应 关系 ， 从 
而 方便 读者 了 解 YAML 的 层次 及 结构 ， 最 常见 的 是 
映射 到 Python 中 的 列表 (List〉 . FH 

(Dictionary〉 两 种 对 象 类 型 。 下 面 通过 块 序列 与 块 
映射 的 示例 详细 说 明 。 


9.1.1. Sky 


块 序列 就 是 将 描述 的 元 素 序 列 到 Python 的 列表 
(List) 中 。 以 下 代码 演示 了 YAML 与 Python 的 对 
应 关系 : 





import yaml 


obj=yaml.load ( 


- Hesperiidae 

- Papilionidae 

- Apatelodidae 
- Epiplemidae 
ur 


print obj 








A fol ep | HRP E P] e PT] REA TOR. ISAT Bi 
如 下 : 





['Hesperiidae', 'Papilionidae', 'Apatelodidae', 
"Epiplemidae' | 





YAML 也 存在 类 似 于 Python 块 的 概念 ， 例 如 : 





- Hesperiidae 


- Papilionidae 


- Apatelodidae 


- Epiplemidae 


- China 
- USA 


- Japan 





对 应 的 Python 结果 为 : 





[['Hesperiidae', 'Papilionidae'. 'Apatelodidae', 
'Epiplemidae']. ['China', 'USA', 'Japan']] 





9.1.2” 块 映 射 描述 


块 映 射 融 是 将 摘 述 的 元 北 序列 到 Python 的 字典 
(Dictionary) 中 ， 格 式 为 “ 键 (key) : fü 
(value) ”， 以 下 为 YAML 例 子 : 





hero: 
hp: 34 
sp: 8 
level: 4 
orc: 
hp: 12 


level: 2 





对 应 的 Python 结果 为 : 





{'hero': ('hp': 34, 'sp': 8, 'level': 4}, '‘orc': 
{'hp': 12, 'sp': 0, 'level': 2}} 





当然 ，YAML 块 序列 与 块 映射 是 可 以 自由 组 合 在 一 
起 的 ， 它 们 之 间 可 以 相互 柚 套 ， 通 过 非常 灵活 的 组 
合 ， 可 以 帮助 我 们 描述 更 加 复杂 的 对 象 属性 ， 例 
如 : 











对 应 的 Python 结果 为 : 





[{'hero': ('hp': 34, 'sp': 8, 'level': 4}}, {'orc': 
{'hp': [12, 30]. 'sp': 0, 'level': 2}}] 


p—MM—M——M———————— 


9.2 Ansible 的 安装 


Ansible 只 需 在 管理 端 部 普 环 境 即 可 ， 建 议 读者 采用 
yum 源 方式 来 实现 部 晋 ， 下 面 介 绍 有 具体 步骤。 


9.2.1 业务 环境 说 明 


为 了 方便 读者 理解 ， 笔 者 通过 虚拟 化 环境 部 署 了 两 
组 业务 功能 服务 器 来 进行 演示 。 笔 者 的 操作 系统 版 
本 为 CentOS release 6.4， 目 带 Python 2.6.6。 相 关 服 
务 器 信息 如 表 9-1 所 示 (CPU 核 数 及 Nginx 根 目录 的 
闫 异化 是 为 方便 演示 生成 动态 配置 需要 ) : 


awa 
表 9-1 业务 环境 表 
me | na | IP | 组 名 | Cpus( 核 数 ) | Web Root (Nginx RAR) 
SN2013-08-020 [| 一 站 = | 


Master 
minion :2013-08-02 92.168.1.2 webservers data 

















9.22 EPEL 


由 于 目前 RHEL 官 网 的 yum 源 还 没有 得 到 Ansible 的 
安装 包 支 持 ， 因 此 先 安 装 EPEL 作 为 部 署 Ansible 的 
默认 yum 源 。 


‘RHEL (CentOS) 5 版 本 : rpm-Uvh 
http://mirror.pnl.gov/epel/5/1386/epel-release-5- 
4.noarch.rpm 


‘RHEL (CentOS) 6 版 本 : rpm-Uvh 
http://ftp.linux.ncsu.edu/pub/epel/6/1386/epel-release- 
6-8.noarch.rpm 


9.23 ”安装 Ansible 
主 服 务 器 安装 〈 主 控 端 ) ， 代 码 如 下 : 





#yum install ansible -y 





9.2.4 Ansible 配 置 及 测试 


第 一 步 是 修改 主机 与 组 配置 ， 文 件 位 

置 /etc/ansible/hosts， 格 式 为 ini， 添 加 两 台 主 机 IP， 
同时 定义 两 个 IP 到 webservers 组 ， 更 新 的 内 容 如 
下 : 


[/etc/ansible/hosts ] 


_ TS | 


#green.example.com 
#blue.example.com 
192.168.1.21 
192.168.1.22 
[webservers | 
#alpha.example.org 
#beta.example.org 


192.168.1.21 


192.168.1.22 





通过 ping 模 块 测试 主机 的 连通 性 ， 分 别 对 单 主机 及 
组 进行 ping 操 作 ， 出 现 如 图 9-2 所 示 的 结果 表示 安 
装 、 测 试 成 功 。 


[rooteSN2013-08-020 ~]# ansible 192.168.1.21 -m ping -k 
SSH password: 
192.168.1.21 | success >> 1 

"changed": false, 

"ping": "pong" 


1 
J 


[root@SN2013-08-020 ~]# ansible webservers -m ping -k 
SSH password: 


192.168.1.21 | success >> 1 
"changed": false, 
"ping": "pong" 

1 

J 

192.168.1.22 | success >> 1 
"changed": false, 
"ping": "pong" 





图 9-2 ”测试 主机 连通 性 





Q.. 由 于 主 控 端 与 被 控 主 机 未 配置 SSH 证 
书信 任 ， 需 要 在 执行 ansible 命 令 时 添加 -参数 ， 要 
求 提 供 root〈 默 认 ) 账号 密码 ， 即 在 提示 “SSH 


password: ”时 和 输入。 很 多 人 更 倾 问 于 使 用 Linux 普 
通用 户 账户 进行 连接 并 使 用 sudo 命 令 实 现 root 权 
限 ， 格 式 为 : ansible webservers-m ping-u ansible- 
sudo. 


9.2.5 配置 Linux 主 机 SSH 无 密码 访问 


为 了 避免 Ansible 下 发 指令 时 输入 目标 主机 密码 ， 通 
过 证 书签 名 达到 SSH 无 密码 是 一 个 好 的 方案 ， 推 荐 
使 用 ssh-keygen 与 ssh-copy-id 来 实现 快速 证 书 的 生成 
及 公 钥 下 发 ， 其 中 ssh-keygen 生 成 一 对 密 钥 ， 使 用 
ssh-copy-id 来 下 发 生成 的 公 钥 。 具 体操 作 如 下 。 


在 主 控 端 主机 (SN2013-08-020) 创建 密 钥 ， 执 
fT: ssh-keygen-trsa， 有 询问 直接 按 回 车 键 即 可 ， 
将 在 /root.ssh/ 下 生成 一 对 密 铀 ， 其 中 id_rsa 为 私 
钥 ，id_rsa.pub 为 公 钥 (需要 下 发 到 被 控 主 机 用 
户 .ssh 目 录 ， 同 时 要 求 重 命 名 成 authorized_keys 文 
TE) 。 











Generating public/private rsa key pair. 


Enter file in which to save the key (/root/.ssh/id_rsa) : 
回 车 ) 


Enter passphrase (empty for no passphrase) : ( 回 车 ) 
Enter same passphrase again: ( 回 车 ) 
Your identification has been saved in /root/.ssh/id rsa. 


Your public key has been saved in /root/.ssh/id rsa.pub. 


The key fingerprint is: 


8d: f0: 47: c6: b9: 55: 5b: cO: Oe: 04: ec: e2: 9c: 38: f6: 84 
rootQSN2013 -08-020 


The key's randomart image is: 
+--[ RSA 2048]----+ 
| ie Osa 
hl] ^ oS: o | 


| e «= sO. | 





接 下 来 同步 公 钥 文件 id_rsa.pub 到 目标 主机 ， 推 荐 使 
用 ssh-copy-id 公 钥 拷贝 工具 ， 命 令 格 

3X: /usr/bin/ssh-copy-id[-i[identity_file]] 
[user@]machine。 本 示例 中 我 们 输入 以 下 命令 同步 
公 钥 至 192.168.1.21 和 192.168.1.22 主 机 。 





Zssh-copy-id -i /root/.ssh/id rsa.pub root@192.168.1.21 


#ssh-copy-id -i /root/.ssh/id rsa.pub root@192.168.1.22 


_ TS | 





校 验 SSH 无 密码 配置 是 否 成 功 ， 运 行 ssh 
root@192.168.1.21， 如 直接 进入 目标 root 账 号 提示 
符 ， 则 说 明 配 置 成 功 。 





9.3 定义 主机 与 组 规则 


Ansible 通 过 定义 好 的 主机 与 组 规则 (Inventory) 对 
岂 配 的 目标 主机 进行 远程 操作 ， 配 置 规则 文件 默认 


是 /etc/ansible/hosts。 
9.3.1 定义 主机 与 组 


所 有 定义 的 主机 与 组 规则 都 在 /etc/Ansible/hosts 文 件 
中 ， 为 ini 文 件 格式 ， 主 机 可 以 用 域名 、 了 P 了 了 、 别 名 进 
行 标 识 ， 其 中 webservers、dbservers 为 组 名 ， 紧 跟 
着 的 主机 为 其 成 员 。 格 式 如 下 : 


mail.example.com 
192.168.1.21: 2135 
[webservers] 
foo.example.com 
bar.example.com 
192.168.1.22 
[dbservers] 
one.example.com 
two.example.com 
three.example.com 


192,168.1.23 





其 中 ，192.168.1.21: 2135 的 意思 是 定义 一 个 SSH 服 
务 端 口 为 2135 的 主机 ， 当 然 我 们 也 可 以 使 用 别名 来 
描述 一 台 主 机 ， 如 : 





jumper ansible ssh port-22 ansible ssh host-192.168.1.50 





jumper 为 定义 的 一 个 别名 ，ansible_ssh_port 为 主机 
SSH 服 务 端口 ，ansible_ssh_host 为 目标 主机 ， 更 多 
保留 主机 变量 如 下 : 

“ansible_ssh_host， 连 接 目 标 主机 的 地 址 。 
'ansible ssh, port, ZEA bs 3EDLSSH?m A, ?mL122 
无 需 指定 。 

:ansible_ssh_user， 连 接 目 标 主机 默认 用 户 。 
“ansible_ssh_pass， 连 接 目 标 主机 默认 用 户 密 人 码 。 


:ansible_connection， 目 标 主机 连接 类 型 ， 可 以 是 
local、ssh 或 paramiko。 


:ansible_ssh_private_key_file 连 接 目 标 主机 的 ssh 私 
£H. 


-ansible * interpreter， 指 定 采 用 非 Python 的 其 他 脚 
本 语言 ， 如 Ruby、Perl 或 其 他 类 似 
ansible_python_interpreter 解 释 器 。 


组 成 员 主 机 名 称 文 持 正 则 描述 ， 示 例如 下 : 





[webservers] 
www[01: 50].example.com 
[databases] 


db-[a: f].example.com 





9.3.2 ”定义 主机 变量 


主机 可 以 指定 变量 ， 以 便 后 面 供 Playbooks 配 置 使 
用 ， 比 如 定义 主机 hosts1 及 hosts2 上 Apache 参 数 
http_port 及 maxRequestsPerChild， 目 的 是 让 两 人 台 主 
机 产生 Apache 配 置 文件 httpd.conf 差 异化 ， 定 义 格式 
如 下 : 





[atlanta] 
hosti http port-80 maxRequestsPerChild-808 


host2 http port-303 maxRequestsPerChild-909 





9.3.3 ”定义 组 变量 


组 变量 的 作用 域 是 禾 盖 组 所 有 成 员 ， 通 过 定义 一 个 
新 块 ， 块 名 由 组 名 +“: vars” 组 成 ， 定 义 格式 如 下 : 














[atlanta] 


host1 


host2 
[atlanta: vars] 
ntp server-ntp.atlanta.example.com 


proxy-proxy.atlanta.example.com 





同时 Ansible 支 持 组 杉 套 组 ， 通 过 定义 一 个 新 块 ， 
名 由 组 名 +“: children” 组 成 ， 格 式 如 下 : 





[atlanta] 

hosti 

host2 

[raleigh] 

host2 

host3 

[southeast: children] 
atlanta 

raleigh 

[southeast: vars] 

some server-foo.southeast.example.com 
halon system timeout-30 
self destruct countdown-60 
escape pods-2 

[usa: children] 


southeast 


northeast 
Southwest 


Southeast 








提示 WEHR Be fi Hi tE/usr/bin/ansible- 
playbook 中 ， 在 /usr/bin/ansible 中 不 起 作用 。 


9.3.4. 分离 主机 与 组 特定 数据 


为 了 更 好 规范 定义 的 主机 与 组 变量 ，Ansible 文 持 
将 /etc/ansible/hosts 定 义 的 主机 名 与 组 变量 单独 剥离 
出 来 存放 到 指定 的 文件 中 ， 将 采用 YAML 格 式 存 
放 ， 存 放 位 置 规 定 :“/etc/ansible/group_vars/+ 组 
名 ”和 “/etc/ansible/host_vars/+ 主 机 名 ”分 别 存放 指定 
组 名 或 主机 名 定义 的 变量 ， 例 如 : 








/etc/ansible/group_vars/dbservers 
/etc/ansible/group_vars/webservers 


/etc/ansible/host vars/foosball 





定义 的 dbservers 变 量 格式 为 : 


【 /etc/ansible/group_vars/dbservers 】 





ntp server: acme. example .Org 


database server: storage.example.org 





提示 “在 Ansible 1.2 及 以 后 版 本 中 ， 
group_vars/ 和 host_vars/ 目 录 可 以 保存 在 playbook 目 
录 或 inventory 目 录 ， 如 同时 存在 ，inventory 目 录 的 
优先 级 高 于 playbook 目 录 的 。 





9.4 匹配 目标 


在 9.3 市 中 己 经 完成 主机 与 组 的 定义 ， 本 市 将 讲解 如 
何 进 行 目 标 (Patterns) 匹配 ， 格 式 为 : 
ansible<pattern_goes_here>-m<module_name>- 
a<arguments>。 举 例 说 明 : 重启 webservers 组 的 所 有 
Apache 服 务 。 





ansible webservers -m service -a "name-httpd 
state=restarted" 





本 节 将 重点 介绍 <pattern_goes_here> 人 参数 的 使 用 方 
法 ， 详 细 规 则 及 含义 见 表 9-2。 


表 9-2 ”匹配 目标 主机 规则 表 


iR — y x x 
192.198.1.2 of one.example.com LA H p 卫 好 址 或 主机 和 名， 多 个 卫 OR ERLE TIT SOP 
webservers CE HPEH Jy webservers， 多 个 组 使 用 “; ” 导 分 所 
All" *" fie HL tar 47 EHL 
(webidb).*'.example'.com 或 192.168.1.* FPP TE WAS Ay IG Ae EPLE IP 地 才 
webservers:!192.168.1.22 I'C fid webservers 组 日 排除 192.168.1.22 主机 IP 
webservers:&dbservers fic webservers 与 dbservers 阿 个 群 组 的 安全 


webservers:! | {excluded} }:& { {required} } 所 扫 变量 四 配方 式 


9.5 ”Ansible 常 用 模块 及 API 


Ansible 提 供 了 非常 丰富 的 功能 模块 ， 包 括 

Cloud 〈 云 计算 ) ~ Commands (命令 行 ) 、 
Database 〈 数 据 库 ) 、Files《〈 文 件 管理 ) 、 

Internal 〈 内 置 功能 ) . Inventory (资产 管理 ) 、 
Messaging 〈 消 息 队 列 ) ~ Monitoring 〈 监 控 管 

理 ) 、Net Infrastructure〈 网 络 基础 服务 ) 、 
Network (网 络 管理 ) 、Notification (通知 管 

理 ) 、Packaging 〈 包 管理 ) . Source Control (版 本 
控制 ) . System (RARI) ~ Utilities (公共 服 
务 ) Web Infrastructure (Web 基 础 服务 ) ， 等 

等 ， 更 多 模块 介绍 见 官网 模块 介绍 (网 址 : 
http://ansibleworks.com/docs/modules.html) 。 模 块 
默认 存储 目录 为 /usrshare/ansible/， 存 储 结 构 以 模块 
分 类 名 作为 目录 名 ， 模 块 文件 按 分 类 存放 在 不 同类 
别 目 录 中 。 命 令 行 调用 模块 格式 : 
ansible<pattern_goes_here (操作 目标 〉>- 
m<module_name 模块 名 ) >-a<module_args (模块 
参数 ) >， 其 中 默认 的 模块 名 为 command， 即 “-m 
command” 可 省 略 。 获 取 远 程 webservers 组 主机 的 
uptime 信 息 格 式 如 图 9-3 所 示 。 











pela 08-020 ~]# ansible webservers -m command -a "uptime" 


rc=@ 


07:33: 73 up 31 min, 1 user, load average: 0.00, 0.00, 0.00 


vei ee. s: 21 | success | FC=O >> 
1 user, load average: 0.01, 0.01, 0.00 





图 9-3 ”获取 主机 “uptime” 信 息 


以 上 命令 等 价 于 ansible webservers-a"uptime"， 获 得 
模块 的 帮助 说 明 信 息 格式 : ansible-doc< 模 块 名 >， 
得 到 ping 模 块 的 帮助 说 明 信 息 如 图 9-4 所 示 。 


[rooteSN2013-08-020 ~]# ansible-doc ping 
> PING 


A trivial test module, this module always returns 'pong' on 
successful contact. It does not make sense in playbooks, but it is 


useful from "/usr/bin/ansible' 


# Test 'webservers' status 
ansible webservers -m ping 


图 9-4 ping 模块 帮助 信息 
在 playbooks 中 运行 远程 命令 格式 如 下 : 








- name: reboot the servers 


action: command /sbin/reboot -t now 





Ansible 0.8 或 以 上 版 本 文 持 以 下 格式 : 





- name: reboot the servers 


command: /sbin/reboot -t now 





Ansible 提 供 了 非常 丰富 的 模块 ， 涉 及 日 常 运 维 工 作 
的 方方面面 。 下 面 介 绍 Ansible 的 常用 模块 ， 更 多 模 
块 介绍 见 官方 说 明 。 


1. 远 程 命令 模块 
(1) 功能 


模块 包括 command、script、shell， 都 可 以 实现 远程 
shell 命令 运行 。command 作 为 Ansible m 默认 模块 ， 
可 以 运行 远程 权限 范围 所 有 的 Shell 命 令 ;， Script 功能 
是 在 远程 主机 执行 主 控 问 存储 的 shell 脚 本 文件 ， 相 
当 于 scp+shell 组 合 ; shell 功 能 是 执行 远程 主机 的 
shell 脚 本 文件 。 


(2) 例子 








_ TS | 


ansible webservers -m command -a "free -m" 
ansible webservers -m script -a "/home/test.sh 12 34" 


ansible webservers -m shell -a "/home/test.sh" 


—— | 


2.copy T Ek 
(1) 功能 


实现 主 控 闯 问 目标 主机 拷贝 文件 ， 类 似 于 scp 的 功 


能 。 
(2) 例子 


以 下 示例 实现 拷贝 homey/test.sh 文 件 至 webserver 组 
日 标 主机 /tmp/ 目 录 下 ， 并 更 新 文件 属 主 及 权限 (可 
以 单独 使 用 fle 模 块 实现 权限 的 修改 ， 格 式 为 : 
path=/etc/foo.conf owner=foo group=foo 

mode-0644) 。 





# 


ansible webservers -m copy -a "src=/home/test.sh dest=/tmp/ 
Owner=root group-root mode=0755" 


—— | 


3.stat 模 块 
(1) 功能 


获取 远程 文件 状态 信息 ， 包 括 atime、ctime、 
mtime、md5、uid、gid 等 信息 。 


(2) 例子 





ansible webservers -m stat -a "path=/etc/sysctl.conf" 


p—M————————— 


4.get url Et 


(1) 功能 


实现 在 远程 主机 下 载 指定 URL 到 本 地 ， 支 持 
sha256sum X: fF Ez US o 


(2) 例子 





ansible webservers -m get url -a "url-http: //www.baidu.com 
dest-/tmp/index.html mode=0440 force=yes" 


pM 


5.yum EA 
(1) 功能 
Linux F Bae ERE, LA yum. aptEr E 
(20 BF 


E 
ansible webservers -m apt -a "pkg=curl state-latest" 


ansible webservers -m yum -a "name=curl state=latest" 


[| 


6.cronfk ER 
(1) 功能 
远程 主机 crontab 配 置 。 
(20 WT 


y MM 


ansible webservers -m cron -a "name='check dirs' hour='5, 2' 
job-'ls -alh > /dev/null'" 


p—MM—M——M———————— 


效果 如 下 : 


[ee | 


ZAnsible: check dirs 


* 5, 2 * * * ls -alh > /dev/nullsalt '*' file.chown 
/etc/passwd root root 


ee! 


7.mount 模 块 
(1) 功能 
远程 主机 分 区 挂 载 。 
(20 DIT 





ansible webservers -m mount -a "name-/mnt/data src-/dev/sdO 
fstype=ext3 opts-ro state=present" 


一 


8.service 模 块 
(1) 功能 
远程 主机 系统 服务 管理 。 
(2) PIT 





ansible webservers -m service -a "name=nginx state-stopped" 
ansible webservers -m service -a "name-nginx 
state=restarted" 


ansible webservers -m service -a "name=nginx state=reloaded" 





9.sysctl 包 管理 模块 

(1) 功能 
远程 Linux 主 机 sysctl 配 置 。 
(20 PIF 





sysctl: name=kernel.panic value-3 


sysctl_file=/etc/sysctl.conf checks=before reload=yessalt 
'*' pkg.upgrade 


10.user 服 务 模块 
(1) 功能 
远程 主机 系统 用 户 管理 。 
(2) 例子 





# 添 加 用 户 johnd; 


ansible webservers -m user -a "name-johnd comment=' John 
Doe tu 


# 删 除 用 户 johnd; 


ansible webservers -m user -a "name-johnd state-absent 
remove=yes" 





OQ.. playbooks 模 块 调用 格式 如 下 ， 以 
command 模 块 为 例 (0.8 或 更 新 版 本 格式 ): 


-name: reboot the servers 


command: /sbin/reboot-t now 


9.6 playbook% 


playbook 有 是 一 个 不 同 于 使 用 Ansible 命 令 行 执行 方式 
的 模式 ， 其 功能 更 强大 灵活 。 人 简单 来 襄 ，playbook 
是 一 个 非常 简单 的 配置 管理 和 多 主机 部 著 系 统 ， 不 
同 于 任何 已 经 存在 的 模式 ， 可 作为 一 个 适合 部 闭 复 
杂 应 用 程序 的 基础 。playbook 可 以 定制 配置 ， 可 以 
按 指 定 的 操作 步骤 有 序 执行 ， 文 持 同 步 及 弄 步 方 
式 。 官 方 提供 了 大 量 的 例子 ， 可 以 在 
https://github.com/ansible/ansible-examples 找 到 |。 
playbook 是 通过 YAML 和 格式 来 进行 描述 定义 的 ， 可 
以 实现 多 台 主 机 应 用 的 部 着 ， 定 义 在 webservers 及 
dbservers 组 上 执行 特定 指令 步 又。 下 面 为 恋 者 介绍 
一 个 基本 的 playbook 示 例 : 




















[/home/test/ansible/playbooks/nginx.yml ] 





- hosts: webservers 
Vars: 
worker processes: 4 
num cpus: 4 
max open file: 65506 
root: /data 


remote user: root 


tasks: 

- name: ensure nginx is at the latest version 
yum: pkg=nginx state=latest 

- name: write the nginx config file 


template: src=/home/test/ansible/nginx/nginx2.conf 
dest=/etc/nginx/nginx.conf 


notify: 
- restart nginx 
- name: ensure nginx is running 
service: name=nginx state=started 
handlers: 
- name: restart nginx 


service: name=nginx state=restarted 





以 上 playbook 定 制 了 一 了 管理 ， 
内 容 包 括 安装 、 配 置 模板 、 状 态 管理 等 。 下 面 详细 
对 该 示例 进行 说 明 。 

9.6.1 定义 主机 与 用 户 


如 指定 远程 登录 用 户 。 以 下 为 webservers 组 定义 的 
相关 变量 ， 变 量 的 作用 域 只 限于 webservers 组 下 的 
主机 。 

















- hosts: webservers 


vars: 
worker_processes: 4 
num_cpus: 4 
max_open_file: 65506 
root: /data 


remote user: root 


hosts 参 数 的 作用 为 定义 操作 的 对 象 ， 可 以 是 主机 或 
组 ， 具 体 定义 规则 见 9.3.1 节 内 容 。 本 示例 定义 操作 
主机 为 webservers 组 ， 同 时 通过 vars 参 数 定义 了 4 个 
变量 〈 配 置 模板 用 到 ) ， 其 中 remote_user 为 指定 远 
程 操 作 的 用 户 名 ， 默 认为 root 账 号 ， 支 持 sudo 方 式 
运行 ， 通 过 添加 sudo: yes 妈 可。 注意 ，remote_user 
参数 在 Ansible 1.4 或 更 高 版 本 才 引 入 。 


9.6.2 ”任务 列表 


所 有 定义 的 任务 列表 (tasks list) ，playbook 将 按 定 
义 的 配置 文件 目 上 而 下 的 顺序 执行 ， 定 义 的 主机 都 
将 得 到 相同 的 任务 ， 但 执行 的 返回 结果 不 一 定 保持 
一 致 ， 取 决 于 主机 的 环境 及 程序 包 状 态 。 建 议 每 个 
任务 事件 都 要 定义 一 个 name 标 签 ， 好 处 是 增强 可 读 
性 ， 也 便于 观察 结果 输出 时 了 解 运行 的 位 置 ， 默 认 
使 用 action (具体 的 执行 动作 〉 来 蔡 换 name 作 为 输 
出 。 下 面 是 一 个 简单 的 任务 定义 示例 : 











tasks: 
- name: make sure nginx is running 


service: name=nginx state-running 








功能 是 检测 Nginx 服 务 是 否 为 运行 状态 ， 如 没有 则 
启动 。 其 中 name 标 签 对 下 面 的 action 〈 动 作 ) 进行 
fide; action (动作 〉 部 分 可 以 是 Ansible 的 任意 模 
块 ， 具 体 见 9.5 节 ， 本 例 为 services 模 块 ， 参 数 使 用 
key=value 的 格式 ， 如 “name=httpd”， 在 定义 任务 时 
也 可 以 引用 变量 ， 格 式 如 下 : 





tasks: 
- name: create a virtual host file for {{ vhost }} 


template: src=somefile.j2 dest=/etc/httpd/conf .d/{{ 
vhost }} 





在 playbook 可 通过 template 模 块 对 本 地 配置 模板 文件 
进行 演 染 并 同步 到 目标 主机 。 以 nginx 配 置 文件 为 
例 ， 定 义 如 下 : 








- name: write the nginx config file 


template: src=/home/test/ansible/nginx/nginx2.conf 
dest=/etc/nginx/nginx.conf 


notify: 
- restart nginx 


p—M—————————— 


其 中 , “src=/home/test/ansible/nginx/nginx2.conf” A 
管理 端 模 板 文件 存放 位 

置 ，“dest=/etc/nginx/nginx.conf” 为 目标 主机 nginx 配 
置 文件 位 置 ， 通 过 下 和 面 nginx 模 板 文件 可 以 让 大 家 对 
模板 的 定义 有 个 基本 的 概念 。 


[/home/test/ansible/nginx/nginx2.conf] 











user nginx; 

worker processes {{ worker processes }}; 
(96 if num cpus == 2 %} 
worker cpu affinity 01 10; 

{% elif num cpus == 4 96) 
worker cpu affinity 1000 0100 0010 0001; 
(96 elif num cpus >= 8 96 


worker cpu affinity 00000001 00000010 00000100 00001000 
00010000 00100000 01000000 10000000; 


(96 else 96) 
worker cpu affinity 1000 0100 0010 0001; 
(96 endif %} 
worker_rlimit_nofile {{ max_open_file }}; 








Ansible 会 根据 定义 好 的 模板 泻 染 成 真实 的 配置 文 
件 ， 模 板 使 用 YAML 语 法 ， 详 细 见 9.1 节 ， 最 终生 成 


的 nginx.conf 配 置 如 下 : 





user nginx; 
worker processes 4; 
worker cpu affinity 1000 0100 0010 0001; 


worker rlimit nofile 65506; 





当 目 标 主 机 配置 文件 发 生变 化 后 ， 通 知 处 理 程序 

(Handlers) 来 触发 后 续 的 动作 ， 比 如 重启 nginx 服 
务 。Handlers 中 定义 的 处 理 程序 在 没有 通知 触发 时 
是 不 会 执行 的 ， 触 发 后 也 只 会 运行 一 次 。 触 发 是 通 
过 Handlers 定 义 的 name 标 签 来 识别 的 ， 比 如 下 面 
notify 中 的 “restart nginx” 与 handlers 中 的 “name: 
restart nginx” 保 持 一 致 。 





notify: 

- restart nginx 
handlers: 

- name: restart nginx 


service: name=nginx state=restarted 





9.6.3 ”执行 Playbook 
执行 playbook， 可 以 通过 ansible-playbook 命 令 实 


现 ， 格 式 : ansible-playbook playbook file C.yml) 
[参数 ]， 如 局 用 10 个 并 行进 程 数 执行 playbook: 





#ansible-playbook /home/test/ansible/playbooks/nginx.yml -f 
10, 





其 他 第 用 参数 说 明 : 


--u REMOTE_USER: 手工 指定 远程 执行 playbook 
的 系统 用 户 ; 


---syntax-check: 检查 playbook 的 语法 ; 
---list-hosts playbooks: 匹配 到 的 主机 列表 :; 
-T TIMEOUT: 定义 playbook 执 行 超时 时 间 ; 


—step: 以 单 任务 分 步骤 运行 ， 方 便 做 每 一 步 的 确 
ULF. 


更 多 参数 说 明 运 行 ansible-playbook-help 来 获得 。 


9.7 playbook 角色 与 包含 声明 


当 我 们 写 一 个 非常 大 的 playbook 时 ， 想 要 复 用 些 功 
能 显得 有 些 吃 力 ， 还 好 Ansible 支 持 写 playbook 时 拆 
分 成 多 个 文件 ， 通 过 包含 〈include) 的 形式 进行 引 
用 ， 我 们 可 以 根据 多 种 维度 进行 “封装 ?"， 比 如 定义 
变量 、 任 务 、 处 理 程序 等 。 


角色 建立 在 包含 文件 之 上 ， 抽 象 后 更 加 清晰 、 可 复 
用 。 运 维 人 员 可 以 更 专注 于 整体 ， 只 有 在 需要 时 才 
关注 具体 细节 。Ansible 官 方 在 GitHub 上 提供 了 大 量 
的 示例 供 大 家 参考 借鉴 ， 访 问 地 址 
https://github.com/ansible/ansible-examples E} nf 3& 4H 
应 的 学 习 资料 。 


9.7.1 Aare, mA 


当 多 个 playbook 涉 及 复 用 的 任务 列表 时 ， 可 以 将 复 
用 的 内 容 和 剥离 出 ， 写 到 独立 的 文件 当中 ， 最 后 在 需 
要 的 地 方 include 进 来 即 可 ， 示 例如 下 : 


[ tasks/foo.yml ] 











# possibly saved as tasks/foo.yml 
- name: placeholder foo 


command:  /bin/foo 


- name: placeholder bar 


command:  /bin/bar 





然后 就 可 以 在 使 用 的 playbook 中 include 进 来 ， 如 : 





tasks: 


- include: tasks/foo.yml 





当然 ， 也 可 以 将 变量 传递 到 包含 文件 当中 ， 这 称 
为 “参数 包含 ”。 
如 在 部 获 多 个 WordPress 的 情况 下 ， 可 以 根据 不 同 


用 户 单独 部 署 WordPress 的 任务 ， 日 引用 单个 
wordpress.yml 文 件 ， 可 以 这 样 写 : 














tasks: 
- include: wordpress.yml user-timmy 
- include: wordpress.yml user-alice 


- include: wordpress.yml user-bob 








TES, 1.48 has n] sce LA Pythons. FIZ 
的 传递 参数 形式 ， 如 : 





tasks: 


- { include: wordpress.yml, user: timmy, ssh keys: [ 


'keys/one.txt', 'keys/two.txt' ] } 
使 用 这 两 种 方法 都 进行 变量 传递 ， 然 后 在 包含 文件 
中 通过 使 用 {{fuser}} 进 行 变 量 引用 。 


将 处 理 程 序 Chandlers) 放 到 包含 文件 中 是 一 个 好 
的 做 法 ， 比 如 重启 Apache 的 任务 ， 如 下 : 


[handlers/handlers.yml ] 


# this might be in a file like handlers/handlers.yml 
- name: restart apache 


service: name-apache state-restarted 
需要 时 可 以 进行 引用 ， 像 这 样 : 


handlers: 


- include: handlers/handlers.yml 


9.72 HE 


现在 我 们 已 经 了解 了 了 变量、 任务 、 人 处 理 程序 的 定 

义 ， 有 什么 方法 更 好 地 进行 组 织 或 抽象 ， 让 其 复 用 
性 更 强 、 功 能 更 具 模块 化 ? Seite A. AEE 
Ansible 定 制 好 的 一 种 标准 规范 ， 以 不 同 级 别 目录 层 











次 及 文件 对 角色 、 变 量 、 任 务 、 处 理 程 序 等 进行 拆 
分 ， 为 后 续 功 能 扩展 、 可 维护 性 打下 基础 。 一 个 典 
型 角色 目录 结构 的 示例 如 下 : 








site.yml 
webservers.yml 
fooservers.yml 
roles/ 
common/ 
files/ 
templates/ 
tasks/ 
handlers/ 
vars/ 
meta/ 
webservers/ 
files/ 
templates/ 
tasks/ 
handlers/ 
vars/ 


meta/ 





在 playbook 是 这 样 引用 的 : 


[site.yml] 


- hosts: webservers 
roles: 
- common 


- webservers 


角色 定制 以 下 规范 ， 其 中 x 为 角色 名 。 


:如 roles/x/tasks/main.yml 文 件 存 在 ， 其 中 列 出 的 任 
务 将 航 添 加 到 执行 队列 ; 


:如 roles/x/handlersmain.yml 文 件 存 在 ， 其 中 所 列 的 
处 理 程序 将 被 添加 到 执行 队列 


.如 roles/x/varsmain.yml 文 件 存 在 ， 其 中 列 出 的 变量 
将 被 添加 到 执行 队列 ; 


:如 roles/x/meta/main.yml 文 件 存 在 ， 所 列 任 何 作用 
emm (1.3 及 更 高 版 
) 3 


:任何 副本 任务 可 以 引用 roles/xyfiles/ 无 需 写 路 径 ， 
默认 相对 或 绝对 引用 ; 


.任何 脚本 任务 可 以 引用 roles/xyfiles/ 无 需 写 路 径 ， 


默认 相对 或 绝对 引用 ; 


-任何 模板 任务 可 以 引用 文件 中 的 roles/x/templates/ 
无 需 写 路 径 ， 默 认 相对 或 绝对 引用 。 
为 了 便于 大 家 更 好 地 理解 和 使 用 角色 Gole) ， 对 
9.6 节 中 的 nginx 软 件 包 管理 的 playbook Cz xc fF) 
修改 成 角色 的 形式 ， 同 时 添加 了 一 个 公共 类 角色 
common， 从 和 角色 全 局 作用 域 中 抽取 出 公共 的 部 
分 ， 一般 为 系统 的 基础 服务 ， 比 如 ntp、iptables、 
selinux、sysctl 等 。 本 示例 是 针对 ntp 服 务 的 管理 。 
(1) playbook H 3e £& fJ 
playbook 目 录 包 括 变 量 定义 目录 group_vars、 主 机 组 
定义 文件 hosts、 全 局 配置 文件 site.yml、 角 色 功 能 目 
录 ，playbook 目 录 结 构 可 参考 图 9-5。 
[/home/test/ansible/playbooks/nginx ] 
(20 定义 主机 组 


以 下 定义 了 一 个 业务 组 webservers， 成 员 为 两 台 主 
Bl. 


[ nginx/hosts ] 

















[webservers] 


192.168.1.21 


192.168.1.22 





非 必 选 配 置 ， 默 认 将 引用 /etc/ansible/hosts 的 参数 ， 
角色 中 目 定 义 组 与 主机 文件 将 通过 “-i file” 命 令 行 参 
数 调 用 ， 如 ansible-playbook-i hosts 来 调用 。 


[root@SN2013-88-828 playbooks |]# tree nginx 
nginx 
roup_vars 
-— all 
webservers 
hosts 
roles 
common 
handlers 
L— main.yml 
tasks 
L— main.yml 
templates 
L— ntp.conf.j2 
vars 
L— main.yml 


handlers 

[一 main.yml 
tasks 

L— main.yml 
templates 

L— nginx2.conf 





site.yml 


图 9-5 playbook 主 目 录 结 构 
(3) 定义 主机 或 组 变量 


定义 规则 见 9.3 节 所 述 ，group_vars 为 定义 组 变量 目 
录 ， 目 录 当 中 的 文件 名 要 与 组 名 保持 一 致 ， 组 变量 


m cm all 代 表 所 有 
EJ 


[nginx/group vars/all] 


p—M—————————MÁ 


# Variables listed here are applicable to all host groups 


ntpserver: ntp.sjtu.edu.cn 





[nginx/group vars/webservers ] 





worker processes: 4 
num cpus: 4 
max open file: 65536 


root: /data 





(4) 全 局 配置 文件 site.yml 


下 面 的 全 局 配置 文件 引用 了 两 个 角色 块 ， 角 色 的 应 
用 范围 及 实现 功能 都 不 一 样 : 


【nginx/site.yml ] 











- name: apply common configuration to all nodes 


hosts: all 
roles: 
- common 


- name: configure and deploy the webservers and application 
code 


hosts: webservers 
roles: 


- web 





全 局 配置 文件 site.yml 引 用 了 两 个 角色 ， 一 个 为 公共 
美的 common， 另 一 个 为 web 关 ， 分 别 对 应 
nginx/common、nginx/web 上 目录。 以 此 类 推 ， 可 以 引 
用 更 多 的 角色 ， 如 db、nosql、hadoop 等 ， 前 提 是 我 
们 移 要 进行 定义 ， 通 第 情况 下 一 个 角色 对 应 着 一 个 
通过 hosts 参 数 来 绑 定 角色 对 应 的 主 
ILE ZA < 


(5) 角色 common 的 定义 


角色 common 定 义 f handlers, tasks. templates. 
vars 4 个 功能 类 ， 分 别 存放 处 理 程 序 、 任 务 列表 、 
模板 、 变 量 的 配置 文件 main.yml， 需 要 注意 的 是 ， 
vars/main.yml 中 定义 的 变量 优先 级 高 

于 /nginx/group_vars/all， 可 以 从 ansible-playbook 的 
执行 结果 中 得 到 验证 。 各 功能 块 配 置 文件 定义 如 
下 : 











[handlers/main.yml 】 





- name: restart ntp 


service: name-ntpd state-restarted 


[a 


[tasks/main.yml ] 


[ee | 


- Name: Install ntp 
yum: name=ntp state=present 
- name: Configure ntp file 
template: src=ntp.conf.j2 dest-/etc/ntp.conf 
notify: restart ntp 
- name: Start the ntp service 
service: name-ntpd state-started enabled-true 
- name: test to see if selinux is running 
command: getenforce 
register: sestatus 


changed when: false 





其 中 template: src=ntp.conf.j2 引 用 模板 时 无 需 写 路 
径 ， 默 认 在 上 级 的 templates 目 录 中 查找 。 


【templatesmntp.conf.j2 ] 





driftfile /var/lib/ntp/drift 


restrict 127.0.0.1 

restrict -6 : : 1 

server (( ntpserver }} 
includefile /etc/ntp/crypto/pw 


keys /etc/ntp/keys 





此 处 {{ntpserver}} 将 引用 vars/main.yml 定 义 的 
ntpserver 变 量 。 


[ vars/main.yml ] 


p—M———————— 


# Variables listed here are applicable to all host groups 


ntpserver: 210.72.145.44 





(6) 角色 web 的 定义 


角色 web 定 义 了 handlers、tasks、templates 三 个 功能 

类 ， 基 本 上 是 9.6 节 中 的 nginx 管 理 playbook 对 应 定义 
功能 段 打 散 后 的 内 容 。 其 体 功 能 块 配置 文件 定义 如 

下 : 


[handlers/main.yml ] 





- name: restart nginx 


service: name-nginx state=restarted 


y Y 


[tasks/main.yml] 


oo —. ee 


- name: ensure nginx is at the latest version 
yum: pkg=nginx state=latest 
- name: write the nginx config file 
template: src=nginx2.conf dest-/etc/nginx/nginx.conf 
notify: 
- restart nginx 
- name: ensure nginx is running 


service: name=nginx state-started 


ESS 


[templates/nginx2.conf ] 


—— 
user nginx; 

worker processes {{ worker processes }}; 
(96 if num cpus == 96) 
worker cpu affinity 01 10; 

{% elif num cpus == 4 96) 
worker cpu affinity 1000 0100 0010 0001; 
{% elif num cpus >= 8 96) 


worker cpu affinity 00000001 00000010 00000100 00001000 
00010000 00100000 01000000 10000000; 


{% else 96) 


worker cpu affinity 1000 0100 0010 0001; 


(96 endif 96) 


worker rlimit nofile {{ max open file }}; 





H.fkwebf8 f&xE XANGA EI Hak, up. 
及 common 角 色 的 说 明 。 


(7) 运行 角色 





#cd /home/test/ansible/playbooks/nginx 


#ansible-playbook -i hosts site.yml -f 10 





运行 结果 如 图 9-6 与 图 9-7 所 示 。 


TASK: [Install ntp] erkeer HILILLILISSSISLEdi CHAE RRR ERR See KER 


- )2.168.1.21] 
ok: [192.166.1.22] 


TASK: [Configure ntp file] 
changed: [192.168.1.21] 
changed: [192.168.1.22] 


TASK: [Start the ntp service] 


K: [192.168 





图 9-6 ntpifi Fr Ex 


TASK: [ensure nginx is at the latest version] ***"*9e*---eeeveee»veveveeveeoveveve 
ok: [192.168.1.22 


k: [192.168 


TASK: [write the nginx config file] LELLELLLLLLLILLLLLLLLLIEESEEEELLLLEE EEEE EE E EE 


19 168.1 


T € [ensure nginx 1s running] ee ee ee ee eee 


Id 


8 


PLAY RECAP DRC he EEE EI 


192.168.1.21 > ok=9 changed=? unreachable=0 failed-Q 
192.168.1.22 : ob changed-2 unreacnable-@ rtailed-4 


图 9-7 nginx Fr EX 





9.8 ”获取 远程 主机 系统 信息 : Facts 


Facts 是 一 个 非常 有 用 的 组 件 ， 类 似 于 Saltstack 的 
Grains 功 能 ， SEIS 天 取 远 程 主机 的 系统 信息 4C 9 包括 
2 IP 地 址 、 操 作 系 统 、 分 区 信息 、 便 件 信 息 
， 可 以 配合 playbook 实 现 更 加 个 性 化 、 灵 活 的 功 

能 需求 ， 比 如 在 httpd.conf 模 板 中 引用 Facts 的 主机 名 
fs 妃 作 为 ServerName 人 参数 的 值 。 通 过 运行 ansible 
hostname-m setup 可 获取 Facts 信 息 ， 人 例如， 获取 
192.168.1.21 的 Facts 信 息 需 运行 : ansible 
192.168.1.21-m setup， 结 果 如 下 : 











192.168.1.21 | success >> ( 
"ansible facts": { 


"ansible all ipv4 addresses": | 





7192.168.1.21" 
|; 


"ansible_all_ipv6_addresses": [ 





"fe80: : 250: 56ff: fe28: 632d" 


]: 


"ansible architecture": "x86 64", 
"ansible bios date": "07/02/2012", 
"ansible bios version": "6.00", 


"ansible cmdline": { 


"KEYBOARDTYPE": "pc", 
"KEYTABLE": "us", 
"LANG": "en US.UTF-8', 
"SYSFONT": "latarcyrheb-sun16', 
"quiet": true, 
"rd NO DM": true, 

"rd NO LUKS": true, 
"rd NO LVM": true, 
"rd NO MD': true, 
"rhgb": true, 

"ro": true, 


"root": "UUID-b8d29324-57b2-4949-8402- 
7fd9ad64ac5a" 





在 模板 文件 中 这 样 引用 Facts 信 息 : 





{{ ansible devices.sda.model }} 


{{ ansible_hostname }} 


ee | 


9.9 变量 


在 实际 应 用 场景 中 ， 我 们 希望 一 些 任务 、 配 置 根据 
设备 性 能 的 不 同 而 产生 差异 ， 比 如 使 用 本 机 CPU 核 
数 动态 配置 Nginx 的 worker_processes 参 数 ， 可 能 
一 组 主机 的 应 用 配置 文件 几乎 相同 ， 但 略 有 不 同 的 
配置 项 可 以 引用 变量 。 在 Ansible 中 使 用 变量 的 目的 
是 方便 处 理 系统 之 间 的 差异 。 


变量 名 的 命名 规则 由 字母 、 数 字 和 下 划 线 组 合 而 
成 ， 变 量 必须 以 字母 开头 ， 如 “foo_port" 是 一 个 合 
法 的 变量 , “foo5?" 也 是 可 以 的 , “foo-port”、“foo 
port”、“foo.port* 和 “12” 都 是 非法 的 变量 命名 。 在 
Inventory #7 X. 2e Æ 19.3.2737 409.3.3 5, 1E 
playbook 定 义 变量 见 9.6 节 ， 建 议 回 顾 一 下 ， 加 深 记 
ae 

9.9.1 Jinja2 过 滤器 

Jinja2 是 Python 下 一 个 广泛 应 用 的 模板 引擎 ， 它 的 设 
计 思 想 类 似 于 Django 的 模板 引擎 ， 并 扩展 了 其 语法 
和 一 系列 强大 的 功能 ， 官 网 地 址 : 
http://jinja.pocoo.org/。 下 面 介绍 一 下 Ansible 使 用 
JinjadskhAWN WEA (Filters) 功能 。 


使 用 格式 : {{ 变 量 名 | 过 小 方法 }}。 


























下 面 是 实现 获取 一 个 文件 路 径 变 量 过 滤 出 文件 名 的 





{{ path | basename }} 





获取 文件 所 处 的 目录 名 : 





{{ path | dirname }} 





下 面 为 一 个 完整 的 示例 ， 实 现 从 “/etc/profile” 中 过 小 
出 文件 名 “profile*， 并 输出 重 定 同 到 /tmp/testshell 文 
FER 





- hosts: 192.168.1.21 
vars: 
filename: /etc/profile 
tasks: 
- name: "shelli" 


shell: echo {{ filename | basename }} >> 
/tmp/testshell 





EERDE N, 
http://jinja.pocoo.org/docs/templates/#builtin-filters 。 


9.9.2 ”本 地 Facts 


我 们 可 以 通过 Facts 来 获取 目标 主机 的 系统 信息 ， 当 
这 些 信 息 还 不 能 满足 我 们 的 功能 需求 时 ， 可 以 通过 
编写 目 定 义 的 Facts 模 块 来 实现 。 当 然 ， 还 有 一 个 更 
fa) ASE TIA, Wie eA Facts SEL. R 
在 目标 设备 /etc/ansible/facts.d 目 录 定 义 JSON、INI 或 
可 执行 文件 的 JSON 输 出 ， 文 件 扩展 名 要 求 使 

用 “.fact”， 这 些 文件 都 可 以 作为 Ansible 的 本 地 
Facts， 例 如 ， 在 目标 设备 192.168.1.21 定 义 三 个 变 
量 ， 供 以 后 playbook 进 行 引用 。 


[ /etc/ansible/facts.d/preferences.fact ] 











[general] 
max memory size-32 
max user processes-3730 


open files-65535 





在 主 控 端 运行 ansible 192.168.1.21-m setup- 
afilter=ansible_local" 可 看 到 定义 的 结果 ， 返 回 结果 
ü b: 





192.168.1.21 | success >> ( 
"ansible facts": ( 


"ansible local": { 


"preferences": ( 


"general": ( 
"max memory size": "32", 
"max user processes": "3730", 
"open files": "65535" 
J 
} 
} 
)» 
"changed": false 








注意 返回 JSON 的 层次 结构 ，preferences (facts 文 件 
名 前 级 ) general (INIT) — key: 

value (INI 的 键 与 值 )， 最 后 就 可 以 在 我 们 的 模板 
或 playbook 中 通过 以 下 方式 进行 调用 : 





{{ ansible local.preferences.general. open files }} 





9.93 ”注册 变量 


变量 的 男 一 个 用 途 是 将 一 条 命令 的 运行 结果 保存 到 
变量 中 ， 供 后 面 的 playbook 使 用 。 下 面 是 一 个 简单 
的 示例 : 





- hosts: web servers 
tasks: 

- shell: /usr/bin/foo 
register: foo result 
ignore errors: True 

- shell: /usr/bin/bar 


when: foo result.rc -- 5 








上 述 示例 注册 了 一 个 foo_result 变 量 ， 变 量 值 为 
shell: /usr/bin/foo 的 运行 结果 ，ignore_errors: True 
为 忽略 错误 。 变 量 注册 完成 后 ， 束 可 以 在 后 面 
playbook 中 使 用 了 ， 当 条 件 语句 when: 
foo_result.rc==5 成 并 时 ，shell: /usr/bin/bar 命 令 才 会 
运行 ， 其 中 foo_result.rc 为 返回 /usr/bin/foo 的 
resultcode (返回 人 码 ) 。 图 9-8 返 回 “rc=0” 的 返回 码 。 


[rooteSN2013-08-020 ~]# ansible 192.168.1.21 -m command -a "echo ‘This certainly is epic'" 
192 ,1068.1 L | success | rč-0 


ertainly is epi 





图 9-8 ”命令 执行 结 


9.10 ”条 件 语 句 


有 时 候 一 个 playbook 的 结果 取决 于 一 个 变量 ， 或 者 
取决 于 上 一 个 任务 Cask) 的 执行 结果 值 ， 在 某 些 
情况 下 ， 一 个 变量 的 值 可 以 依赖 于 其 他 变量 的 值 ， 
当然 也 会 影响 Ansible 的 执行 过 程 。 


下 面 主 要 介绍 When 声明 。 


有 时 候 我 们 想 跳 过 某 些 主机 的 执行 步 又， 比如 符合 
特定 版 本 的 操作 系统 将 不 安装 某 个 软件 包 ， 或 者 人 磁 
横 空 间 烛 满 了 将 进行 清理 的 步 台 。 在 Ansible 中 很 容 
易 做 到 这 一 点 ， 通过 When 子 句 实 现 ， 其 中 将 引用 
Jinja2 表 达 式 。 下 面 是 一 个 简单 的 示例 : 








tasks: 
- name: "shutdown Debian flavored systems" 
command: /sbin/shutdown -t now 


when: ansible os family == "Debian" 





通过 定义 任务 的 Facts 本 地 变量 

ansible os family (操作 系统 版 本 名 称 〉 是 否 关 
Debian， 结 果 将 返回 BOOL 类 型 值 ， 为 True 时 将 执 
行 上 一 条 语句 command: /sbin/shutdown-t now， 为 
False 时 该 条 语句 都 不 会 触发 。 我 们 再 看 一 个 示例 ， 
通过 判断 一 条 命令 执行 结果 做 不 同 分 文 的 二 级 处 





BE: 


tasks: 
- command: /bin/false 
register: result 
ignore_errors: True 
- command: /bin/something 
when: result|failed 
- command: /bin/something_else 
when: result|success 
- command: /bin/still/something_else 


when: result|skipped 





“when: result|success" Hm ENKA E result fr 结 
果 为 成 功 状态 时 ， 将 执行 /bin/something_else 命 令 ， 
其 他 同 理 ， 其 中 success 为 Ansible 内 部 过 滤器 方法 ， 
iR 回 Ture 代 表 命令 运 云 行 成 功 。 


9.11 循环 


通 第 一 个 任务 会 做 很 多 事情 ， 如 创建 大 量 的 用 户 、 
安 儿 很 多 包 ， 或 重复 轮 询 特定 的 步骤 ， 直 到 菏 种 续 
果 条 件 为 止 ，Ansible 为 我 们 提供 了 此 支持 。 下 面 是 
一 个 人 简单 的 示例 : 














- name: add several users 
user: name={{ item )) state-present groups-wheel 
with items: 
- testuser1 


- testuser2 





这 个 示例 实现 了 一 个 批量 创建 系统 用 户 的 功能 ， 
with_items 会 目 动 循环 执行 上 面 的 语句 “user: name= 
( (item) )state-present groups=wheel]”， 循 环 的 次 数 
为 with_items 的 元 素 个 数 ， 这 里 有 2 个 元 素 ， 分 别 为 
testuser1、testuser2， 会 分 别 蔡 换 {ffitemy} 项 。 这 个 


示例 与 下 面 的 示例 是 等 价 的 : 





- name: add user testuser1 
user: name-testuseri1 state-present groups-wheel 
- name: add user testuser2 


user: name-testuser2 state-present groups-wheel 


_ TS | 


当然 ， 元 素 也 文 持 字典 的 形式 ， 如 下 : 





- name: add several users 


user: name={{ item.name 3) state-present groups={{ 
item.groups }} 


with items: 
- { name: 'testuseri', groups: 'wheel' } 


- ( name: 'testuser2', groups: '‘'root' } 





循环 也 支持 列表 List) 的 形式 ， 不 过 是 通过 
with_flattened 语 句 来 实现 的 ， 例 如 : 





# file: roles/foo/vars/main.yml 
packages. base: 

- [ 'foo-package', 'bar-package' | 
packages. apps: 

- [ ['one-package', 'two-package' ]] 


- [ ['red-package'], ['blue-package']] 








LÀ ExE X D WA FIXE, Op ll se m EERE 
包 名 ， 以 便 后 面 进行 如 下 引用 : 





- Name: flattened loop demo 


yum: name={{ item }} state=installed 


with flattened: 
- packages base 


- packages apps 





通过 使 用 with_flattened 语 句 循 环 引 用 定义 好 的 列表 


变量 。 


9.12 “示例 讲解 


官网 提供 的 Haproxy+LAMP+Nagios 经 典 示 例 ， 也 是 
目前 国内 最 第 用 的 技术 以 构 ， 此 案例 访问 地 址 为 : 
https://github.com/ansible/ansible- 
examples/tree/master/lamp_haproxy. F (Pex zs 
例 进 行 详细 说 明 ， 内 容 履 兰 前 面 涉及 的 几乎 所 有 知 
识 点 ， 起 到 温 故 的 作用 ， 同 时 作为 对 Ansible 的 总 结 
内 容 。 


下 面 介 绍 playbook 的 基本 信息 。 
1. 目 录 结 构 
示例 playbook 目 录 结 构 见 图 9-9。 





[root@SN2913-88-028 ansible]# tree lamp haproxy/ 
Broup_yars 
ali 
dbservers 


msin. yml 
tasks 
l 


main.yml 
templz 


S ables. j2 
ntp.conf.j2 


handlers 
L main.yml 
tasks 

main.) 
templat 


tasks 
L— main.yml 
tes 


-一 haproxy.cfg.72 


ervers.cfg. 
webservers.cte.j2 
tasks 


L— main.yml 


site. yal 





图 9-9 示例 目录 结构 
2. 设 备 环境 说 明 


两 侣 Web 主 机 、1 台 数据 库 主机 、1 台 负载 均衡 右 主 
机 、1 台 监控 主机 ，hosts 配 置 如 下 : 


【hosts 】 


[webservers] 
web1 

web2 
[dbservers] 
dbi 
[1bservers] 
lbi 
[monitoring] 


nagios 





3.palybook 入 口 文件 site.yml 


需要 注意 的 是 base-apache 和 角色 ， 由 于 webservers 及 
monitoring 都 需要 部 普 Apache 坏 境 ， 为 提高 复 用 
性 ， 将 部 署 Apache 独 立成 base-apache 角 色 。 


[Site.yml] 








- hosts: all 
roles: 
- common 


- hosts: dbservers 


USer: root 


roles: 


- db 


- hosts: webservers 


user: root 
roles: 
- base-apache 


- web 


- hosts: lbservers 


user: root 
roles: 


- haproxy 


- hosts: monitoring 


user: root 
roles: 
- base-apache 


- nagios 





4. 定 义 组 变量 
下 面 定 义 playbook 全 局 变量 ， 变 量 作用 域 为 所 有 主 











【 group_vars/all ] 


[ee | 


# Variables here are applicable to all host groups 
httpd port: 80 


ntpserver: 192.168.1.2 








all 文件 定 义 了 匹配 所 有 主机 作用 域 的 变量 ， 一 般 为 
系统 公共 类 基础 配置 ， 如 ntpserver 地 址 、sysctl 弯 
量 、iptables 配 置 等 。 


下 面 为 定义 webservers 组 的 变量 ， 变 量 作 用 域 为 
webservers 组 主机 。 





[group vars/webservers ] 





# Variables for the web server configuration 

# Ethernet interface on which the web server should listen. 
# Defaults to the first interface. Change this to: 

# 


# iface: eth1 


# 

# ...to override. 

# 

iface: '(( ansible default ipv4.interface }}' 


# this is the repository that holds our sample webapp 


repository: https: //github.com/bennojoy/mywebapp.git 
# this is the shaisum of V5 of the test webapp. 


webapp version: 351e47276cc66b018f4890a04709d4cc3d3edbOd 





webservers 文 件 定 义 了 webservers 组 作用 域 的 变量 。 
本 示例 涉及 Apache 相 关 配 置 ， 其 

中 “iface: '{{fansible_default_ipv4.interface}}2 引 用 了 
Facts 获 取 的 本 地 网 卡 接口 名 信息 ， 另 外 定义 了 一 个 
GitHub 的 repository， 方 便 下 载 Web 测 试 文件 ， 如 内 
部 搭建 git 版 本 控制 环境 ， 此 处 也 可 以 修改 成 本 地 的 
服务 地 址 。 


下 面 为 定义 dbservers 组 的 变量 ， 变 量 作 用 域 为 
dbservers 组 主机 。 











【 group_vars/dbservers ] 





# The variables file used by the playbooks in the dbservers 
group. 


# These don't have to be explicitly imported by vars files: 
they are autopopulated. 


mysqlservice: mysqld 
mysql port: 3306 
dbuser: root 

dbname:  foodb 


upassword: abc 





dbservers 文 件 定 义 了 dbservers 组 作用 域 变 量 ， 本 示 
例 涉及 MySQL 数 据 库 的 基本 应 用 信息 。 


下 面 为 定义 ]bservers 组 作用 域 变量 文件 ， 本 示例 主 
要 涉及 haproxy 环 境 涉 及 的 配置 参数 值 。 


[group vars/Ibservers ] 








# Variables for the HAproxy configuration 


# HAProxy supports "http" and "tcp". For SSL, SMTP, etc, 
use "tcp". 


mode: http 
# Port on which HAProxy should listen 
listenport: 8888 


# A name for the proxy daemon, this wil be the suffix in the 
logs. 


daemonname: myapplb 

# Balancing Algorithm. Available options: 

# roundrobin, source, leastconn, source, uri 
# (if persistance is required use, "source") 
balance: roundrobin 


# Ethernet interface on which the load balancer should 
listen 


# Defaults to the first interface. Change this to: 


# 


# iface: ethi 

# 

# ...to override. 
# 


iface: '‘'{{ ansible default ipv4.interface }}' 





5.playbook 角 色 详 解 


本 示例 划分 了 6 个 角色 ， 包 括 base-apache、 
common、db、haproxy、nagios、web， 分 别 对 应 6 
个 功能 环境 部 署 ， 根 据 不 同业 务 场景 的 需求 ， 可 以 
随意 加 、 减 角色 ， 如 将 base-apache 更 换 成 nginx， 然 
后 在 site.yml 中 引用 。 


(1) common## €, 


common 的 主要 功能 是 部 车、 配置 系统 基础 服务 ， 
包括 yum 源 、 安 装 nagios 插 件 、NTP 服 务 、 
iptables、SELinux 等 ， 任 务 (tasks〉 的 定义 如 下 : 





[ roles/common/tasks/main.yml ] 





# This role contains common plays that will run on all 
nodes. 


- name: Create the repository for EPEL 


copy: src=epel.repo dest-/etc/yum.repos.d/epel.repo 


name: Create the GPG key for EPEL 
copy: Src-RPM-GPG-KEY-EPEL-6 dest-/etc/pki/rpm-gpg 
name: install some useful nagios plugins 
yum: name={{ item }} state-present 
with_items: 
- nagios-nrpe 
- nagios-plugins- swap 
- nagios-plugins-users 
- nagios-plugins-procs 
- nagios-plugins-load 
- nagios-plugins-disk 
name: Install ntp 
yum: name=ntp state=present 
tags: ntp 
name: Configure ntp file 
template: src=ntp.conf.j2 dest-/etc/ntp.conf 
tags: ntp 
notify: restart ntp 
name: Start the ntp service 
service: name-ntpd state=started enabled=true 
tags: ntp 
name: insert iptables template 
template: src=iptables.j2 dest-/etc/sysconfig/iptables 


notify: restart iptables 


- name: test to see if selinux is running 
command: getenforce 
register: sestatus 


changed when: false 








上 述 代 码 定义 了 两 个 远程 文件 复制 copy， 其 中 
src〔 源 文件 ) 的 默认 位 置 在 roles/common/files， 使 
用 with_item 标 签 实现 循环 安装 nagios 插 件 ， 同 时 安 
闭 ntp 服 务 ， 引 用 模块 文件 
roles/common/templatesntp.conf.j2， 且 同步 到 目标 主 
机 /etc/ntp.conf 位 置 。 配 置 系 统 iptables， 引 用 
roles/common/templates/iptables.j2 模 板 ，“notify: 
restart iptables”， 状 态 或 模板 发 生变 化 时 将 通知 处 
理 程 序 Chandlers) Ah. “command: 
getenforce” 运 行 getenforce 来 检测 selinux 是 人 否 在 运行 
状态 , "changed when: false” 作 用 为 不 记录 命令 运 
行 结 果 的 changed 状 态 ， 即 changed 为 False。 


下 面 定 义 common 角 色 的 处 理 程序 。 


[ roles/common/handlers/main.yml ] 




















# Handlers for common notifications 
- name: restart ntp 


service: name-ntpd state-restarted 


- name: restart iptables 


service: name-iptables state-restarted 





上 述 代 人 码 定义 了 两 个 处 理 程序 ， 功 能 分 别 为 重 局 
ntp、iptables 服 务 ， 其 中 “name: restart ntp” 与 任务 

(tasks) 定义 中 的 “notify: restart ntp” 是 一 一 对 应 
HJ, “name: restart iptables” 同 理 。 


下 面 定 义 了 common 角 色 iptables 的 配置 模板 : 


[ roles/common/templates/iptables.j2 ] 





(96 if (inventory hostname in groups['webservers']) or 
(inventory hostname in groups['monitoring']) %} 


-A INPUT -p tcp --dport 80 -j ACCEPT 

{% endif 96 

{% for host in groups['monitoring'] %} 

-A INPUT -p tcp -s {{ 
hostvars[host].ansible default ipv4.address }} --dport 5666 
-j ACCEPT 


(96 endfor 96) 





“inventory_hostname” 作 为 存放 在 Ansible 的 inventory 
文件 中 的 主机 名 或 卫 ， 好 处 是 可 以 不 依靠 Facts 的 主 
机 名 参数 ansible_hostname 或 其 他 原因 ， 一 般 情 况 下 


inventory_hostname 等 于 ansible_hostname， 但 有 时 





候 我 们 习惯 在 Ansible 的 inventory 中 使 用 IP 地 址 ， 而 
ansible_hostname 则 返回 主机 名 。 模 板 使 用 了 jinja2 
的 语法 ， 本 例 六 .. .endif 语 人 判断 当前 的 

inventory hostname7é $5 fF webservers /* monitoring?H 
H GEXH 具体 在 hosts 文 件 H) ， 条 件 成 立 则 添加 80 
im LI Yi fe] ALPE C-A INPUT-p tcp--dport 80-j 
ACCEPT) . For...endforig 句 实现 了 循环 开通 允许 
monitoring 组 主机 访问 5666 端 口 ， 使 用 Do yar ias 
得 到 主机 对 象 ， 可 以 获 得 主机 的 Facts 信 息 ， 如 
hostvars[host] ansible default. ipv4 address 获 取 主 机 
IP. 


(2) haproxy 角 色 


haproxy 和 角色 主要 实现 了 haproxy 阅 台 的 部 车 、 配 置 
功能 ， 任 务 (tasks) 的 定义 : 


[ roles/haproxy/tasks ] 

















# This role installs HAProxy and configures it. 
- name: Download and install haproxy and socat 
yum: name={{ item }} state=present 
with_items: 
- haproxy 


- socat 


- name: Configure the haproxy cnf file with hosts 
template: src=haproxy.cfg.j2 dest-/etc/haproxy/haproxy.cfg 


notify: restart haproxy 





任务 (tasks) 定义 了 两 个 功能 ， 一 为 安装 ， 二 为 同 
步 配 置 文件 ， 安 装 使 用 了 yum 模 块 ， 循 坏 安 装 
haproxy、socat 两 个 工具 ， 同 时 根据 配置 参数 演 染 
roles/haproxy/templates/haproxy.cfg.j2 模 板 文 件 ， 完 
成 后 同步 到 目标 主机 /etc/haproxy/haproxy.cfg 位 置 ， 
状态 发 生变 化 时 重启 haproxy 服 务 ， 使 之 生效 。 


下 面 定义 了 haproxy 角 色 haproxy.cfg 的 配置 模板 : 
[ roles/haproxy/templates/haproxy.cfg.j2 ] 














backend app 
(96 for host in groups['lbservers'] %} 


listen {{ daemonname 3) {{ hostvars[host]['ansible ' 
* iface].ipv4. 


address }}: {{ listenport }} 
{% endfor %} 
balance {{ balance }} 
{% for host in groups['webservers'] %} 


server {{ hostvars[host].ansible hostname }} {{ 
hostvars[host ] 


['ansible_' + iface].ipv4.address }}: {{ httpd_port }} 


{% endfor %} 





{ {hostvars[host]['ansible_'+iface].ipv4.address } ) SEEN, 
了 获取 网 卡 名 变量 iface Cgroup. vars/Ibservers t! E 
义 ) 的 IPv4 IP 地 址 。 


(3) web 角 色 


web 和 角色 主要 实现 了 php、php-mysql、git 平 台 部 署 
及 SELinux 的 配置 功能 ， 任 务 Ctasks) 的 定义 如 
下 : 


[ roles/web/tasks/main.yml 】 





# httpd is handled by the base-apache role upstream 
- name: Install php and git 
yum: name={{ item }} state-present 
with items: 
- php 
- php-mysql 
- git 


- name: Configure SELinux to allow httpd to connect to 
remote database 


seboolean: name-httpd can network connect db state-true 
persistent=yes 


when: sestatus.rc ! = 0 


- name: Copy the code from repository 


git: repo={{ repository }} version={{ webapp version }} 
dest=/var/www/htm1/ 





判断 sestatus 变 量 (roles/common/tasks/main.yml P XÉ 
SO) 返回 的 rc《〈 和 运行 代码 ) 不 等 于 0〈 失 败 ) 则 配置 
selinux httpd 访 问 远程 数据 库 的 权限 ， 使 用 的 是 
Ansible 的 seboolean 模 块 ， 该 条 语句 等 价 于 命令 

行 “setsebool httpd can network connect db 1", $% 


中 “persistent=yes” 表 示 开 机 目 启 动 。 
(4) nagios 角 色 


nagios 角 色 主 要 实现 了 nagios 监 控 平 台 的 部 署 ， 重 点 
介绍 任务 Ctasks) 的 定义 : 




















[ roles/nagios/tasks/main.yml ] 





- name: create the nagios object files 
template: src={{ item + ".j2" }} 
dest=/etc/nagios/ansible-managed/{{ item }} 
with_items: 
- webservers.cfg 
- dbservers.cfg 


- lbservers.cfg 


notify: restart nagios 





template 分 发 多 个 模板 文件 时 可 以 使 用 with_items 来 
循环 同步 ， 变 量 与 字符 使 用 “+” 写 连接 (具体 见 
jinja2 语 法 ) 。 

理解 以 上 4 个 角色 的 定义 后 ， 再 理解 ansible- 
examples 其 他 playbook 的 内 容 已 经 没有 太 大 的 困 

难 ， 本 书 将 不 一 一 说 明 。 


BAYES 


“9.1 节 YAML 语 法 介绍 参考 http://zh.wikipedia.org/zh- 
cn/YAML. 

.9.2 节 ~9.11 节 Ansible 介 绍 及 示例 参考 
http://docs.ansible.com 官 网 文档 。 








第 10 章 ”集中 化 管理 平台 Saltstack 详 解 


Saltstack (http://www.saltstack.com/) 是 一 个 服务 器 
基础 架构 集中 化 管理 平台 ， 开 始 于 2011 年 的 一 个 项 
目 ， 有 具备 配置 管理 、 远 程 执行 、 监 控 等 功能 ， 一 般 
可 以 理解 成 徐 化 版 的 

puppet Chttp://puppetlabs.com/) 和 加 强 版 的 

func (https://fedorahosted.org/func/) 。Saltstack 基 于 
Python 语言 实现 ， 结 合 轻 量 级 消息 队列 

(ZeroMQ) 与 Python 第 三 方 模块 CPyzmq. 
PyCrypto、Pyjinja2、Ppython-msgpack 和 PyYAML 
等 ) 构建 。Saltstack 具 备 如 下 特点 。 


-部署 简单 、 方 便 。 

-支持 大 部 分 UNIX/Linux 及 Windows 环 境 。 
` 主 从 集中 化 管理 。 

-配置 简单 、 功 能 强大 、 扩 展 性 强 。 


. 主 控 端 (master) 和 被 控制 端 (minion) 基于 证 书 
Wik, ZEAE. 


. 文 持 API 及 目 定 义 模 块 ， 可 通过 Python 轻松 扩展 。 


通过 部 和 著 Saltstack 坏 境 ， 我 们 可 以 在 成 和 王 上 万 台 服 
务 占 上 做 到 批量 执行 命令 ， 根 据 不 同业 务 特性 进行 





配置 集中 化 管理 、 分 上 友 文 件 、 采 集 服务 器 数据 、 操 
作 系 统 基础 及 软件 包 管 理 等 ， 因 此 ，Saltstack 是 运 
维 人 员 提 高 工作 效率 、 规 范 业务 配置 与 操作 的 利 
器 。 目 前 Saltstack 已 经 趋同 成 熟 ， 用 户 群 及 社区 活 
跃 度 都 不 错 ， 同 时 官方 也 开放 了 不 少子 项 目 ， 有 具体 
可 访问 https://github.com/saltstack 获 得 。 


为 了 方便 读者 更 系统 化 地 了 解 Saltstack 的 技术 点 ， 
本 章 将 针对 相关 技术 点 详细 展开 介绍 。 

















10.1 ”Saltstack 的 安装 

Saltstack 的 不 同 角 色 服 务 安装 非 党 人 简单， 建议 读者 
采用 yum 源 方式 来 实现 部 署 ， 下 面 介 绍 具体 步 又 。 
10.1.1 业务 环境 说 明 

为 了 方便 读者 理解 ， 笔 者 通过 虚拟 化 环境 部 普 了 两 
组 业务 功能 服务 器 来 进行 演示 ， 操 作 系 统 版 本 为 
CentOS release 6.4， 自 带 Python 2.6.6。 相 关 服 务 器 


言 轧 如 表 10-1 所 示 〈CPU 核 数 及 Nginx 根 目录 的 差异 
化 是 为 方便 演示 生成 动态 配置 的 需要 ) 。 


表 10-1 环境 说 明 表 








角色 | Id (minion id) IP | Groupsnode (组 名 ) | Cpus (#8) | Web Root Nginx RAF)? 

Mater | SN200-0820 | 192168120 | =- | — | 一 
nion SN2012-07-010 192.168.1.10 | weblgroup ww 
minion | SN2012-07-011 | 192.168.1.11 | webl group + WW 
minion | SN2012-07-012 | 192.168.1.12 | weblgroup ww 
minio n | SN2013-08-021 192.168.1.21 | web2group dat 
minion | SN201 192.1 | web2group dat 





10.1.2 238EPEL 


由 于 目前 RHEL 官 网 yum 源 还 没有 Saltstack 的 安装 包 
支持 ， 因 此 先 安装 EPEL 作 为 部 彰 Saltstack 的 默认 
yum 源 。 


-RHEL (CentOS) 5 版 本 : rpm-Uvh 下 载 地 址 : 
http://mirror.pnl.gov/epel/5/1386/epel-release-5- 


4.noarch.rpm 


‘RHEL (CentOS) 6 版 本 : rpm-Uvh 下 载 地 址 : 
http://ftp.linux.ncsu.edu/pub/epel/6/1386/epel-release- 
6-8.noarch.rpm 


10.1.3 ”安装 Saltstack 
(1) 主 服务 器 安装 〈 主 探 端 ) 





#yum install salt-master -y 
Zchkconfig salt-master on 


Zservice salt-master start 





(20 MARA ds zc Ciim) 





#yum install salt-minion -y 
Zchkconfig salt-minion on 


Zservice salt-minion start 





10.1.4 _ Saltstack 防 火 墙 配置 


在 主 控 端 添加 TCP 4505、TCP 4506 的 规则 ， 而 在 被 
控 端 无 须 配 置 防火 墙 ， 原 理 是 被 控 端 直接 与 主 控 端 
的 zeromq 建 并 长 链接 ， 接 收 广播 到 的 任务 信息 并 执 
行 ， 且 体操 作 是 深 加 两 条 iptables 规 则 : 








iptables -I INPUT -m state --state new -m tcp -p tcp --dport 
4505 -j ACCEPT 


iptables -I INPUT -m state --state new -m tcp -p tcp --dport 
4506 -j ACCEPT 





10.1.5 ”更 新 Saltstack 配 置 及 安装 校 验 


Saltstack 分 两 种 角色 ， 一 种 为 master〈 主 控 端 ) , FH 
一 种 为 minion〔 人 被 控 问 ) ， 安 装 完毕 后 需要 对 两 种 
角色 的 配置 文件 进行 修改 ， 下 面具 体 说 明 。 


(1) master 主 控 端 配置 
1) 更 新 主 控 疹 关键 项 配置 : 


[ /etc/salt/master ] 














# 绑 定 Master 通 信 IP; 


interface: 192.168.1.20 











# 自 动 认 证 ， 避 免 手 动 运行 Salt - key 来 确认 证 书信 任 ; 














auto_accept: True 





# 指 定 Saltstack 文 件 根 目录 位 置 
file roots: 
base: 


- /srv/salt 





2) 重启 saltstack salt-master 服 务 使 新 配置 生效 ， 具 


体 执行 以 下 命令 : 





Zservice salt-master restart 





(2) minionf& Jm fo Ei. 
1) 更 新 被 控 端 关键 项 配置 : 


[/etc/salt/minion 】 











# 指 定 master 主 机 IP 地 址 


master: 192.168.1.20 

















# 修 改 被 控 端 主机 识别 id， 建 议 使 用 操作 系统 主机 名 来 配置 


id: SN2013-08-021 





2) 重启 saltstack salt-minion 服 务 使 新 配置 生效 ， 具 
体 执 行 以 下 命令 : 





service salt-minion restart 





(30 校 验 安装 结果 


通过 test 模 块 的 ping 方 法 ， 可 以 确认 指定 被 控 端 设备 
与 主 控 端 是 否 建立 信任 关系 及 连通 性 是 否 正常 ， 探 
测 所 有 被 控 端 采用 '"*#" 来 代替 'SN2013-08-021' 即 可 ， 
具体 如 图 10-1 所 示 。 





[root@SN2013-08-020 ~]# salt 'SN2013-08-021' test.ping 
SN2013-08-021: 


True 





图 10-1 测试 安装 主机 的 连通 性 





Q 提示 “ 当 /etc/salymaster 没 有 配置 


auto accept: True 时 ， 需 要 通过 salt-key 命 令 来 进行 


证 书 认 证 操作 ， 具 体操 作 如 下 : 

:Salt-key-LL， 显 示 已 经 或 未 认证 的 被 控 端 id， 
Accepted Keys 为 已 认证 清单 ，Unaccepted Keys 为 未 
认证 清单 ; 

salt-key-D， 删 除 所 有 认证 主机 id 证 书 ; 
salt-key-d id， 删 除 单个 id 证 书 ; 

salt-key-A， 接 受 所 有 id 证 书 请 求 ; 

salt-key-a id， 接 受 单 个 id 证 书 请 求 。 


10.2 ”利用 Saltstack 远 程 执行 命令 


Saltstack 的 一 个 比较 突出 优势 是 具备 执行 远程 命令 
的 功能 ， 操 作 及 方法 与 

func Chttps://fedorahosted.org/func/) 相似 ， 可 以 帮 
助 运 维 人 员 完 成 集中 化 的 操作 平台 。 

命令 格式 : salt< 操 作 目 标 >'< 方 法 >[ 参 数 ] 


示例 ， 查 看 被 控 主 机 的 内 存 使 用 情况 ， 如 图 10-2 所 
ZN o 


[root@SN2013-08-020 ~]# salt 'SN2013-08-021' omd.run ‘free -m' 


SN2013-08-021: 






cached 


图 10-2 ”查看 “SN2013-08-021” 主 机 内 存 使 用 


其 中 针对 < 操作 目标 >，Saltstack 提 供 了 多 种 方法 对 
(d) 进行 过 滤 。 下 面 列举 第 用 的 具体 


1) -E，--pcre， 通 过 正则 表达 式 进 行 匹 配 。 示 例 : 
控 测 SN2013 字 符 开头 的 主机 id 名 是 否 连通 ， 合 令 : 
salt-E' 和 SN2013.*'test.ping， 运 行 结果 如 图 10-3 所 
外。 


[rooteSN2013-08-020 ~]# salt -E '^SN2013.*' test.ping 


SN2013-08 -02 


True 


013-08-022: 
True 





图 10-3 ”正则 匹配 主机 的 连通 性 


2) -L，--list， 以 主机 id 名 列表 的 形式 进行 过 滤 ， 格 
式 与 Python 的 列表 相似 ， 即 不 同 主机 id 名 称 使 用 去 
号 分 隔 。 示 例 : 获取 主机 id 名 为 SN2013-08-021、 
SN2013-08-022; 获取 完整 操作 系统 发 行 版 名 称 ， 
命令 : salt-L'SN2013-08-021，SN2013-08- 
022'grains.item osfullname， 运 行 结果 如 图 10-4 所 
Ze 


[root&SN2013-08-020 ~]# salt -L 'SN2013-08-021,5N2013-08-022' grains.item osfullname 






sfullname: CentOS 


图 10-4 列表 形式 匹配 主机 的 操作 系统 类 型 


3) -G，--grain， 根 据 被 控 主 机 的 grains (10.4 节 详 
解 ) 信息 进行 岂 配 过 小， 格式 为 '<grain value»: 
<glob expression>'， 例 如 ， 过 滤 内 核 为 Linux 的 主机 
可 以 写成 kernel: Linux， 如 采 同 时 需要 正则 表达 陈 
的 支持 可 切换 成 --grain-pcre 参 数 来 执行 。 示 例 : 获 
取 主 机 发 行 版 本 号 为 6.4 的 Python 版 本 号 ， 命 令 : 
salt-G'osrelease: 6.4'cmd.run'python-V'"， 运 行 结 果 如 
图 10-5 所 示 。 





[root@SNn2013-08-020 ~]# salt -G 'osrelease:6.4' cmd.run ‘python -V' 
SN2013-08-021: 


Python í 





图 10-5 grain 形式 匹配 主机 的 Python 版 本 


4) -I，--pillar， 根 据 被 控 主 机 的 pillar C10.5 Hif 
解 ) 信息 进行 匹配 过 小 ， 格 式 为 “对 象 名 称 : WR 
值 ?， 例 如 ， 过 滤 所 有 其 备 'apache: httpdpillar 值 的 
主机 。 示 例 : UA l/H*nginx: root: /data” 信 息 的 
主机 连通 性 ， 命 令 : salt-I'nginx: 

root: /datartest.ping， 运 行 结果 如 图 10-6 所 示 。 


dissi 08-020 ~]# salt -I 'nginx:root:/data' test.ping 





图 10-6 pillar 形 式 匹 配 主机 的 连通 性 


其 中 pillar 属 性 配置 文件 如 下 (关于 pillar 后 面 10.5 单 
独 进行 说 明 ): 





nginx: 


root: /data 





5) N; a —— ce 
的 分 组 名 称 进 行 过 小 。 以 笔者 定义 的 组 为 例 〈 主 机 


信息 文 持 正则 表达 式 、grain、 条 件 运 算 符 等 ) 38 
第 根据 业务 类 型 划分 ， 不 同业 务 具备 相同 的 特点 ， 
包括 部 署 环境、 应 用 平台 、 配 置 文件 等 。 举 例 分 组 
配置 信息 如 下 : 


[ /etc/salt/master ] 


一 





nodegroups: 


webigroup: 'L@SN2012-07-010, SN2012-07-011, SN2012-07- 
12" 


web2group: 'L@SN2013-08-021, SN2013-08-022' 








其 中 ，L@ 表 示 后 面 的 主机 id 格 式 为 列表 ， 即 主机 id 
以 逗号 分 隔 ;G@ 表 示 以 grain 格 式 摘 述 ; S@ 表 示 以 
IP 子 网 或 地 址 格式 描述 。 


示例 : 探测 web2group 被 控 主 机 的 连通 性 ， 其 命令 
为 : salt-N web2group test.ping， 运 行 结 果 如 图 10-7 
所 示 。 


[rooteSN2013-08-020 ~]# salt -N web2group test.ping 
SN2013-08-022: 
True 


SN2013-08-021: 
True 


图 10-7 分 组 形式 (Cnodegroup) 匹配 主机 的 连通 性 
6) -C，--compound， 根 据 条 件 运算 符 not、and、or 





去 匹配 不 同 规则 的 主机 信息 。 示 例 : 探测 SN2013 开 
头 并 且 操作 系统 版 本 为 CentOS 的 主机 连通 性 ， 命 令 
如 下 : 





salt -C 'EQ^SN2013.* and GQos: Centos' test.ping 





其 中 ，not 语 句 不 能 作为 第 一 个 条 件 执行 ， 不 过 可 以 
通过 以 下 方法 来 规避 ， 示 例 : 探测 非 SN2013 开 头 的 
主机 连通 性 ， 其 命令 为 : salt-C'*and not 

上 (OASN2013.* test.ping。 


7) -S$，--ipcidr， 根 据 被 控 主 机 的 耳 地 址 或 耻 子 网 进 
行 匹 配 ， 示 例如 下 : 


salt -S 192.168.0.0/16 test.ping 


salt -S 192.168.1.10 test.ping 


| 


~ 3 3 , IL, I j A TT 
C.-l-4 P | 4d tt IL ATA 
2 Cn iftcocftn mi FE AY IL AF JN ) 
| U 3 Sa | tstaCK & MAH JARIR AA P 
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Saltstack 提 供 了 非常 丰富 的 功能 模块 ， 涉 及 操作 系 
统 的 基础 功能 、 需 用 工具 文 持 等 ， 更 多 模块 信息 见 
官网 模块 介绍 : 
http://docs.saltstack.com/ref/modules/all/index.html . 
78, qn] UB sys E RA Hh PA RU SCA SC APY 
块 ， 如 图 10-8 所 示 。 


[rooteSN2013-08-020 ~]# salt '*' sys.list modules 
SN2013-08-022: 


aliases 
alternatives 
apache 


- archive 





图 10-8 所 有 主机 Saltstack 支 持 的 模块 清单 〈 部 分 
截图 ) 

接 下 来 抽取 出 常见 的 模块 进行 介绍 ， 同 时 也 会 列举 

模块 API 使 用 方法 。API 的 原理 是 通过 调用 master 


client 模 块 ， 实 例 化 一 个 LocalClient 对 象 ， 再 调用 
cmd () 方法 来 实现 的 。 以 下 是 API 实 现 testping 的 
示例 : 








import salt.client 
client = salt.client.LocalClient () 
ret = client.cmd ('*', "'test.ping') 


print ret 








结果 以 一 个 标准 的 Python 字典 形式 的 字符 串 返 回 ， 
可 以 通过 eval O 函数 转换 成 Python 的 字典 类型 ， 
方便 后 续 的 业务 逻辑 处 理 ， 程 序 运 行 结 果 如 下 : 





{'SN2013-08-022': True, 'SN2013-08-021': True} 








Q.. 将 字符 字典 转换 成 Python 的 字典 类 
型 ， 推 荐 使 用 ast 模 块 的 literal eval O 方法 ， 可 以 
过 小 表达 式 中 的 恶意 函数 。 

(1) Archive 模 块 

1) 功能 : 实现 系统 层面 的 压缩 包 调 用 ， 文 持 


. ‘ 。 Ky 
gunzip. gzip. rar. tar. unrar, unzip}. 





2) 示例 : 





# 采 用 gzunzip 解 压 /tmp/sourcefile.txt.gz 包 
salt '*' archive.gunzip /tmp/sourcefile.txt.gz 
# 末 用 gzip 压 缩 /tmp/sourcefile ,txt 文件 


salt '*' archive.gzip /tmp/sourcefile.txt 


pp———————M—MMHÉMHMMM—— 


3) API 调 用 : 


aS] 


client.cmd ('*', ' archive.gunzip', ['/tmp/sourcefile.txt.gz 
']) 





(2) cmd 模 块 


1) 功能 : 实现 远程 的 命令 行 调用 执行 (默认 具备 
root 操 作 权限 ， 使 用 时 需 评 估 风 险 〉。 


2) 示例 : 








# 获 取 所 有 被 控 主 机 的 内 存 使 用 情况 








salt '*' cmd.run "free -m" 


# 在 SN2013-08-021 主 机 运行 test, sh 脚本 ， 其 中 script/test, sh 存放 在 
file_roots 指 定 的 目录 ， 





# 该 命令 会 做 两 个 动作 : 首先 同步 test ,sh 到 minion 的 cache 目 录 (如 同步 

到 /var/cache/salt/ #minion/files/base/script/test.sh) ; 其 次 运 
行 该 脚本 

'SN2013-08-021' cmd.script salt: //script/test.sh 


pM 


3) API 调 用 : 


一 


client.cmd ('SN2013-08-021', "'cmd.run', ['free -m']) 





(3) cp 模块 


1) 功能 : 实现 远程 文件 、 目 录 的 复制 ， 以 及 下 载 
URL 文 件 等 操作 。 


2) 示例 : 








# 将 指定 被 控 主机 的 /etc/hosts 文 件 复制 到 被 控 主机 本 地 的 salt cache H% 
(/var/cache/salt/minion/localfiles/) ; 





salt '*' cp.cache local file /etc/hosts 


# 将 主 服 务 器 file_roots 指 定位 置 下 的 目录 复制 到 被 控 主 机 








salt '*' cp.get dir salt: //path/to/dir/ /minion/dest 


# 将 主 服 务 器 file_roots 指 定位 置 下 的 文件 复制 到 被 控 主 机 








salt '*' cp.get file salt: //path/to/file /minion/dest 


# 下载 URL 内 容 到 被 控 主 机 指定 位 置 





salt '*' cp.get url http: //www.slashdot.org /tmp/index.html 





3) API 调 用 : 


一 


client.cmd ('SN2013-08-021', 'cp.get_file', [' 
salt: //path/to/file ', ' /minion/dest' ]) 


[a | 


(4) cron] ik 
1) 功能 : 实现 被 控 主 机 的 crontab 操 作 。 
2) 示例 : 








# 查 看 指定 被 控 主 机 、root 用 户 的 crontab 清 单 
salt 'SN2013-08-022' cron.raw cron root 


# 为 指定 的 被 控 主机 、root 用 户 添加 /usr/local/weekly 任 务 作 业 





salt 'SN2013-08-022' cron.set job root '*' !*! !*' '*! 1 
/usr/local/weekly 





# 删 除 指 定 的 被 控 主 机 、root 用 户 crontab 的 /usr/lLlocal/Vweek1ly 任 务 作业 


salt 'SN2013-08-022' cron.rm job root /usr/local/weekly 





3) API 调 用 : 


ee | 


client.cmd ('SN2013-08-021', '"'cron.set job '， 
[ root"; OV TAr TE ee So t/usr/echo!]) 





(5) dnsutil 模 块 
D 功能 : 实现 被 控 主 机 通用 DNS 相 关 操 作 。 
2) 示例 : 























# 添 加 指定 被 控 主机 hosts 的 主机 配置 项 





salt '*' dnsutil.hosts append /etc/hosts 127.0.0.1 
adi.yuk.com, ad2.yuk.com 

















# 删 除 指定 被 控 主 机 hosts 的 主机 配置 项 





salt '*' dnsutil.hosts remove /etc/hosts adi.yuk.com 





3) API 调 用 : 


es | 


client.cmd ('*', "'dnsutil.hosts append', 
['/etc/hosts', '127.0.0.1', 'adi.yuk.co']) 





(6) file 模 块 


E B 被 控 主 机 文件 第 见 操 作 ， 包 括 文件 读 
AR ER RET 


2) 示例 : 








# 校 验 所 有 被 控 主 机 /etc/fstab 文 件 的 md5 是 
6254e84e2f6ffa54eO0c8d9cb230f5505, D E 回 True 





salt '*' file.check hash /etc/fstab 
md5-26254e84e2f6ffa54e0c8d9cb230f 5505 





# 校 验 所 有 被 控 主机 文件 的 加 密 信 息 、 支 持 md5、shal、sha224、sha256、 
sha384、sha512 加 密 算法 








salt '*' file.get sum /etc/passwd md5 


# 修 改 所 有 被 控 主 机 /etc/passwd 文 件 的 属 组 、 用 户 权 限 ， 等 价 于 chown root: 
root /etc/passwd 








salt '*' file.chown /etc/passwd root root 











# 复 制 所 有 被 控 主 机 本 地 /path/to/src 文 件 到 本 地 的 /path/to/dst 文 件 





salt '*' file.copy /path/to/src /path/to/dst 


# 检 查 所 有 被 控 主 机 /etc 目 录 是 否 存在 ， 存 在 则 返回 True， 检 和 碍 文件 是 人 否 存 在 使 用 
file.file exists 方 法 











salt '*' file.directory exists /etc 





# 获 取 所 有 被 控 主机 /etc/passwd 的 stats 信 息 





salt '*' file.stats /etc/passwd 





# 获 取 所 有 被 控 主 机 /etc/passwd 的 权限 mode， 如 755、644 





salt '*' file.get mode /etc/passwd 


# 修 改 所 有 被 控 主 机 /etc/passwd 的 权限 mode 为 0644 





salt '*' file.set mode /etc/passwd 0644 


# 在 所 有 被 控 主 机 创建 /opt/test 目 录 








salt '*' file.mkdir /opt/test 


# 将 所 有 被 控 主机 /etc/httpd/httpd.conf 文 件 的 LogLevel 参 数 的 warn 值 修改 
成 info 





salt '*' file.sed /etc/httpd/httpd.conf 'LogLevel warn' 
'LogLevel info' 


# 给 所 有 被 探 主机 的 /tmpVtestVtest,conf 文 件 追 加 内 容 "maxcLient 100" 





salt '*' file.append /tmp/test/test.conf "maxclient 100" 


# 删 除 所 有 被 控 主 机 的 /tmp/foo 文 件 





salt '*' file.remove /tmp/foo 


——— 1 


3) API 调 用 : 





client.cmd ('*', ' file.remove ', ['/tmp/foo' ]) 





(7) iptables 模 块 


1) 功能 : 被 控 主 机 iptables 文 持 。 
2) ANB: 











# 在 所 有 被 控 端 主机 追加 Cappend) 、 插 入 (insert) iptables 规 则 ， 其 中 
INPUT 为 输入 链 





salt '*' iptables.append filter INPUT rule='-m state --state 
RELATED. ESTABLISHED -j ACCEPT' 


salt '*' iptables.insert filter INPUT position=3 rule='-m 
state --state RELATED. ESTABLISHED -j ACCEPT' 





# 在 所 有 被 控 端 主机 删除 指定 链 编 号 为 3 (position=3) 或 指定 存在 的 规则 











salt '*' iptables.delete filter INPUT position-3 


salt '*' iptables.delete filter INPUT rule='-m state --state 
RELATED. ESTABLISHED -j ACCEPT' 





# 保 存 所 有 被 控 端 主机 规则 到 本 地 硬盘 (/etc/sysconfig/iptables) 


salt '*' iptables.save /etc/sysconfig/iptables 





3) API 调 用 : 


[ee | 


client.cmd ('SN2013-08-022', '‘iptables.append', 
['filter', 'INPUT', 'rule=\'-p tcp --sport 80 -j ACCEPT\'']) 





(8) netwrok 模 块 
1) 功能 : 返回 被 控 主 机 网 络 信息 。 
2) 示例 : 











# 在 指定 被 控 主 机 'SN2013-08-022:' 获 取 dig、ping、traceroute 目 录 域 名 信 
息 


salt 'SN2013-08-022' network.dig www.qq.com 
salt 'SN2013-08-022' network.ping www.qq.com 


salt 'SN2013-08-022' network.traceroute www.qq.com 





# 获 取 指 定 被 控 主 机 'SN2013-08-022 的 MAC 地 址 





salt 'SN2013-08-022' network.hwaddr etho 


# 检 测 指 定 被 控 主 机 'SN2013-08-022' 是 否 属于 10.0.0.0/16 子 网 范围 ， 属 于 则 
返回 True 














salt 'SN2013-08-022' network.in subnet 10.0.0.0/16 




















# 获 取 指 定 被 控 主 机 'SN2013-08-022' 的 网 卡 配 置信 息 








salt 'SN2013-08-022' network.interfaces 




















# 获 取 指 定 被 控 主 机 'SN2013-08-022' 的 IP 地 址 配置 信息 





salt 'SN2013-08-022' network.ip addrs 





# 获 取 指 定 被 控 主 机 'SN2013-08-022' 的 子 网 信息 








salt 'SN2013-08-022' network.subnets 





3) API 调 用 : 





client.cmd ('SN2013-08-022', 'network.ip_addrs') 





(9) pkg 包 管理 模块 
1) 功能 : 被 控 主 机 程序 包 管 理 ， 如 yum、apt-get 


等 。 


2) 示例 : 





# 为 所 有 被 控 主 机 安装 PHP 环 境 ， 根 据 不 同系 统 发 行 版 调用 不 同安 装 工 具 进 行 部 署 ， 
如 redhat 平 台 的 yum， 等 价 于 yum -y install php 





salt '*' pkg.install php 
HED AR TAT OH EBL PHP IA SG 





salt '*' pkg.remove php 
# 升 级 所 有 被 控 主 机 的 软件 包 





salt '*' pkg.upgrade 





3) API 调 用 : 





client.cmd ('SN2013-08-022', 'pkg.remove', ['php']) 





(10) Service 服 务 模块 
1) 功能 : 被 控 主 机 程序 包 服 务 管 理 。 
2) ah: 





# 开 启 Cenable) . 4H] (disable) nginx 开 机 自 启 动 服务 

salt '*' service.enable nginx 

salt '*' service.disable nginx 

4f xnginx/lkósHjreload. restart. start. stop. statusf&Í[E 
salt '*' service.reload nginx 


salt '*' service.restart nginx 


salt '*' service.start nginx 
salt '*' service.stop nginx 


salt '*' service.status nginx 


pM 


3) API 调 用 : 
ee | 
client.cmd ('SN2013-08-022', 'service.stop', ['nginx']) 


p—M————————— 


C11) 其 他 模块 


10.4 grains 组件 


grains 古 Saltstack 最 重要 的 组 件 之 一 ，grains 的 作用 
是 收集 被 控 主 机 的 基本 信息 ， 这 些 信息 通常 都 是 一 
些 静 态 类 的 数据 ， 包 括 CPU、 内 核 、 操 作 系 统 、 虚 
拟 化 等 ， 在 服务 器 端 可 以 根据 这 些 信息 进行 灵活 定 
制 ， 管 理 员 可 以 利用 这 些 信息 对 不 同业 务 进 行 个 性 
化 配置 。 官 网 提供 的 用 来 区 分 不 同 操作 系统 的 示例 
如 下 《和 采用 jinja 模 板 ) : 








{% if grains['os'] == 'Ubuntu' 9% 
host: {{ grains['host'] }} 

{% elif grains['os'] == 'CentOS' %} 
host: {{ grains['fqdn'] }} 


{% endif %} 





示例 中 CentOS 发 行 版 主机 将 被 *host: 
{f{grains[fqdn]}}” 匹 配 ， 以 主机 SN2013-08- 

022 CcentOS 6.4) 为 例 ， 最 终 得 到 “host: SN2013- 
08-022”。 同 时 ， 命 令 行 的 匹配 操作 系统 发 行 版 本 为 
CentOS 的 被 控 端 可 以 通过 -G 参 数 来 过 滤 ， 如 salt- 
G'os: CentOS'test.ping. 


10.4.1 ”grains 常 用 操作 命令 
匹配 内 核 版 本 为 2.6.32-358.14.1.el6.x86_64 的 主机 : 


rr | 


salt -G 'kernelrelease: 2.6.32-358.14.1.e16.x86 64' cmd .run 
'uname -a' 





获取 所 有 主机 的 grains 项 信息 : 


salt '*' grains.ls 





当然 ， 也 可 以 获取 主机 单项 grains 数 据 ， 如 获取 操 
作 系 统 发 行 版 本 ， 执 行 命令 : saltSN2013-08- 
022'grains.item os， 结 果 如 图 10-9 所 示 。 


[rooteSN2013-08-020 ~]# salt 'SN2013-08-022' grains.item os 


SN2013-08-022: 
os: Centos 


图 10-9 根据 grains 获 取 主 机 操作 系统 友 行 版 本 信息 


获取 主机 id 为 “SN2013-08-022” 的 所 有 grains 键 及 值 
信息 ， 执 行 命令 如 图 10-10 所 示 。 


10.4.2 XE X grains Zt 4S 


定义 grains 数 据 的 方法 有 两 种 ， 其 中 一 种 为 在 被 控 
主机 定制 配置 文件 ， 为 一 种 是 通过 主 控 问 扩 展 模 块 
API 实 现 ， 区 别 是 模块 更 姑 活 ， 可 以 通过 Python 编 
程 动态 定义 ， 而 配置 文件 只 适合 相对 固定 的 键 与 

值 。 下 面 分 别 举例 说 明 。 











ee 和 和 08-020 ~]# salt 'SN2013-08-022' grains.items 


a: 1924 
t te: 97/02/2012 
mn: 6.0 
net: 13 
| 10S: fpu vee de pse tsc msr poe mce cx8 apic sep atrr pge mca COV pat pse36 clflush 
s Bug tsc reliable nonstop tsc aperfmperf unfair spinlock pni pclmulgdq ssse3 cx16 pcid 
E serus. smep 
pu : Intel(R) Pentium(R) CPU G2030 @ 3.0GHz 
cpuarch: x86_64 
te ling: UTF8 
ultlanguage: en US 
ysent: datacenter4 


jan: SN2013-08-022 


['model': 'SVGA II Adapter’, ‘vendor’: ‘unknown'} 
t: SN2013-08-922 
i: SN2@13-08-@22 
I : {*lo': [°127.0.0.1"], ‘eth®': [°192.168.1.22" ]} 


127.0.0.1 
192.168.1.22 
el: Linux 
ernelre ise: 2.6.32-358.18.1.e16.x86_64 
iLhost: SN2@13-88-@22 
)cturer: Wware, Inc. 


er; 192.168.1.28 





SSHEX— A 被 控 主 机 ， 如 SN2013-08-022， 配 置 文 
件 定 制 的 路 径 为 /etcsalyminion， 人 参数 为 
default include: minion.d/*.conf， 有 具体 操作 如 下 : 


[/etc/salt/minion.d/hostinfo.conf ] 





grains: 
roles: 


- webserver 


- memcache 
deployment: datacenter4 


cabinet: 13 








重启 被 控 主 机 salt-minion 服 务 ， 使 之 生效 : service 
salt-minion restart。 验 证 结果 在 主 控 端 主机 运行 : 
salt'SN2013-08-022'grains.item roles deployment 
cabinet， 观 察 配置 的 键 与 值 ， 如 图 10-11 所 示 。 


[rooteSN2013-08-020 ~]# salt 'SN2013-08-022' grains.item roles deployment cabinet 
SN20 08-022: 


í 
iloyment: datacenter4 


roles: 
webserver 
memcache 





10-11 定制 grains 数 据 信息 
2. 主 探 问 扩展 模块 定制 grains 数 据 


首先 在 主 控 端 编写 Python 代 人 码 ， 然 后 将 该 Python 文 
件 同步 到 被 控 主 机 ， 最 后 刷新 生效 〈( 即 编译 Python 
源码 文件 成 字 节 人 码 pyc) 。 在 主 控 端 bash 目 录 

( 见 /etc/salt/master 配 置 文件 的 fle_roots 项 ， 默 认 的 
base 配 置 在 /srv/salt〉 下 生成 _grains 目 录 ， 执 行 
install-d/srv/salt/_grains 开 始 编写 代码 ， 实 现 获取 被 
控 主 机 系统 允许 最 大 打开 文件 数 Culimit-n) 的 
grains 数 据 。 


[/srv/salt/ grains/sysprocess.py ] 





import os, sys, commands 
def Grains openfile () : 


return os max open file of grains value 
grains = {} 
#init default value 
_open_file=65536 
try: 


getulimit-commands.getstatusoutput ('source 
/etc/profile; ulimit -n') 


except Exception, e: 

pass 
if getulimit[0]==0: 

_open_file=int (getulimit[1]) 
grains['max_open_file'] = open file 


return grains 





上 上 面 代码 的 说 明 如 下 。 

‘grains openfile O 定义 一 个 获取 最 大 打开 文件 数 
的 函数 ， 函 数 名 称 没 有 要 求 ， 符 合 Python 的 函数 命 
名 规则 即 可 ; 





“grains={} 初 始 化 一 个 grains 字 典 ， 变 量 名 一 定 要 用 
grains， 以 便 Saltstack 识 列 ; 


“grains['max_open_file']=_open_file 将 获取 的 Linux 
ulimit-n 的 结果 值 赋 予 grains['max_open file], + 
中 “max_open_file” 束 是 grains 的 项 ，_open_file 束 是 


grains 上 的 值 。 


最 后 同步 模 坎 到 指定 被 控 端 主机 并 刷新 生效 ， 因 为 
grains 比 较 适 合 采集 静态 类 的 数据 ， 比 如 硬件 、 内 
核 信 息 等 。 汝 有 动态 类 的 功能 需求 时 ， 需 要 提 行 刷 
新 ， 有 具体 操作 如 下 : 

同步 模块 saltSN2013-08-022'saltutil.sync_all， 看 


看 “SN2013-08-022” 主 机 上 发 生 了 什么 ?文件 已 经 
同步 到 minion cache 目 录 中 ， 如 下 : 











/var/cache/salt/minion/extmods/grains/grains openfile.py 


/var/cache/salt/minion/files/base/ grains/grains openfile.py 





/Var/cache/salt/minion/extmods/grains/ 为 扩展 模块 文 
件 最 终 存 放 位 置 ， 刷 新 模块 后 将 在 同 路 径 下 生成 字 
但 pyc; /var/cache/salt/minion/files/base/ grains/7j 
临时 存放 位 置 。 


刷新 模块 saltSN2013-08-022'sys.reload_modules， 再 
看 看 主机 发 生 了 什么 变化 ? 


在 /var/cache/salt/minion/extmods/grains/ 位 置 多 了 一 
个 编译 后 的 字 节 人 码 文 件 grains_openfile.pyc 文 件 ， 为 
Python 可 执行 的 格式 。 





/var/cache/salt/minion/extmods/grains/grains openfile.py 
/var/cache/salt/minion/extmods/grains/grains openfile.pyc 


/var/cache/salt/minion/files/base/ grains/grains openfile.py 





校 验 结果 为 可 以 在 主 控 端 查看 grains 人 信息， 执行 
salt'SN2013-08-022'grains.item max_open_file， 结 果 
显示 “max_open file: 65535”, 3X Wize BU IBI XE ni] EJ 
主机 grains 信 息 。 











SN2013-08-022: 


max open file: 65535 


[a 


10.5 pillarZA 4# 


pillar 也 是 Saltstack 最 重要 的 组 件 之 一 ， 其 作用 是 定 
义 与 被 控 主 机 相关 的 任何 数据 ， 定 义 好 的 数据 可 以 
被 其 他 组 件 使 用 ， 如 模板 、state、API 等 。 在 pillar 
中 定义 的 数据 与 不 同业 务 特性 的 被 控 主 机 相关 联 ， 
这 样 不 同 被 控 主 机 只 能 看 到 上 自己 匹配 的 数据 ， 因 此 
pillar 安 全 性 很 高 ， 适 用 于 一 些 比较 敏感 的 数据 ， 这 
也 是 区 别 于 grains 最 关键 的 一 点 ， 如 定义 不 同业 务 
组 主机 的 用 户 id、 组 id、 读 写 权 限 、 程 序 包 等 信 
妃 ， 定 义 的 规范 是 采用 Python 字典 形式 ， 即 键 / 值 ， 
最 上 层 的 键 一 般 为 主机 的 id 或 组 名 称 。 下 面 详细 描 
述 如 何 进行 pillar 的 定义 和 使 用 。 


10.5.1 pillar 的 定义 
1. 主 配置 文件 定义 


Saltstack 默 认 将 主 控 问 配置 文件 中 的 所 有 数据 都 定 
义 到 pillar 中 ， 而 且 对 所 有 被 控 主 机 开放 ， 可 通过 修 
改 /etc/salt/master 配 置 中 的 pillar_opts: Ture 或 False 
来 定义 是 否 开 启 或 禁用 这 项 功能 ， 修 改 后 执行 
salt*#'pillar.data 来 观 罕 效果。 图 10-12 为 pillar_opts: 
Ture 的 返回 结果 ， 以 主机 “SN2013-08-022” 为 例 ， 执 
fTsalt'SN2013-08-022'pillar.data. 

















[rooteSN2013-08-020 ~]# salt 'SN2013-08-022' pillar.data 


SN2013-908-92? : 


aquto_accept: 
True 
cachedir: 
var/cache 


act: 


acl_blacklist: 





图 10-12 ”主机 所 有 pillar 信 息 〈 部 分 截图 ) 


pillar 文 持 在 sls 文 件 中 定义 数据 ， 格 式 须 符合 YAML 
规范 ， 与 Saltstack 的 state 组 件 十 分 相似 ， 新 人 容易 
将 两 者 混 消 ， 两 者 文件 的 配置 格式 、 入 口 文件 


top.sls 都 是 一 致 的 。 下 面 详细 介绍 pillar 使 用 sls 定 义 
的 配置 过 程 。 


(1) 定义 pillar 的 主 目录 
修改 主 配置 文件 /etcsalymaster 的 pillar_roots 人 参数， 
定义 pillar 的 主 目录 ， 格 式 如 下 : 


pillar_roots: 
base: 


- /srv/pillar 


同时 创建 pillar 目 录 ， 执 行 命令 : install-d/srv/pillar。 
(2) 定义 入 口 文件 top.sls 


入 口 文件 的 作用 一 般 是 定义 pillar 的 数据 履 诉 被 控 主 
机 的 有 效 域 范围 ，“*” 代 表 任 意 主 机 ， 其 中 包括 了 
一 个 data.sls 文 件 ， 具 体内 容 如 下 : 


[ /srv/pillar/top.sls ] 





base: 
- data 


[ /srv/pillar/data.sls ] 


appname: website 
flow: 
maxconn: 30000 


maxmem: 6G 





(3) 校 验 pillar 


通过 查看 “N2013-08-022” 主 机 的 pillar 数 据 ， 可 以 看 
到 多 出 了 data.sls 数 据 项 ， 原 因 是 我 们 定义 top.sls 时 
f Fert us f PUR EDL, XCRÉIATUÉ"SN2013-08- 
022” 的 pillar 数 据 时 可 以 看 到 我 们 定义 的 数据 ， 如 图 
10-13 所 示 ， 如 采 结 有 末 不 符合 预期 ， 可 以 符 试 刷新 
被 控 主 机 pillar 数 据 ， 运 行 salt*'saltutil.refresh_pillar 
即 可 。 


[rooteSN2013-08-020 ~]# salt “SN2013-08-022”ptLLar.data appname flow 
SN2013-08-022: 


appname : 
website 


maxconn: 
30000 

maxmem : 
6G 


图 10-13 ”返回 主机 pillar 的 信息 
10.5.2 pillar 的 使 用 





完成 pillar 配 置 后 ， 接 下 来 介绍 使 用 方法 。 我 们 可 以 
在 state、 E 中 引用 ， 模 板 格式 为 “{{fpillar 变 
量 }}”， 例 如 : 





{{ pillar['appname'] 3) (一 级 字典 ) 


{{ pillar['flow' ][ maxconn ] }} (二 camer aes 
salt['pillar.get'] ('flow: 'maxconn' Qo) H 





Python API 格 式 如 下 : 





pillar['flow']['maxconn' | 


pillar.get (' flow: appname', {}) 





1. 操 作 目 标 主机 


见 10.5.1 市 ， 通 过 -I 选项 来 使 用 pillar 来 匹配 被 控 主 
i: 





# salt -I 'appname: website' test.ping 
SN2013-08-021: 

True 
SN2013-08-022: 


True 





2. 结 合 grains 处 理 数 据 的 差异 性 








首先 通过 结合 grains 的 id 信息 来 区 分 不 同 id 的 maxcpu 
的 值 ， 其 次 进行 引用 观察 匹配 的 信息 ， 延 伸 “10.5.1 
pillar 的 定义 ”的 例子 ， 将 data.sls 修 改 成 如 下 形式 ， 
其 中 ，“if...else...endfi” 为 jinja2 的 模板 语法 ， 更 多 
信息 请 访问 jinja2 官 网 语法 介绍 ， 网 址 为 
http://jinja.pocoo.org/docs/templates/。 





appname: website 
flow: 
maxconn: 30000 
maxmem: 6G 
{% if grains['id'] == 'SN2013-08-022' %} 
maxcpu: 8 
{% else %} 
maxcpu: 4 


{% endif %} 





通过 查看 被 探 主机 的 pillar 数 据 ， 可 以 看 到 maxcpu 的 
差异 ， 如 图 10-14 所 示 。 


[rooteSN2013-08-020 ~]# salt 'SN2013-08-021' pillar.data flow 
SN2013-@8-021: 


maxconn: 
30000 
maxcpu: 
4 
maxmem : 
6G 


[rooteSN2013-08-020 ~]# salt 'SN2013-08-022' pillar.data flow 
SN2013-08-022: 


maxconn: 
30000 
maxcpu: 
8 
maxmem : 
6G 


图 10-14 ”不同 主机 产生 的 pillar 数 据 差 寞 





10.6 ”state 介 绍 


state 是 Saltstack 最 核心 的 功能 ， 通 过 预先 定制 好 的 
sls (salt state file) 文件 对 被 控 主 机 进行 状态 管理 ， 
支持 包括 程序 包 (pkg) 、 文 件 Cfile) 、 网 络 配置 
(network) 、 系 统 服务 (service) 、 系 统 用 户 
Cuser) 等 ， 更 多 状态 对 象 见 
http://docs.saltstack.com/ref/states/all/index.html . 


10.6.1 state 的 定义 


state 的 定义 是 通过 sls 文 件 进行 描述 的 ， 文 持 YAML 
语法 ， 定 义 的 规则 如 下 : 





$ID: 
$State: 


- $state: states 





其 中 : 


-$ID， 和 定义 state 的 名 称 ， 通 篆 采 用 与 描述 的 对 象 保 
持 一 致 的 方法 ， 如 apache、nginx 等 ; 


:$State， 须 管理 对 象 的 类 型 ， 详 见 
http://docs.saltstack.com/ref/states/all/index.html ; 


'$state: states， 定 制 对 象 的 状态 。 





官网 提供 的 示例 如 下 : 





1 apache: 
2 pkg: 
3 - installed 


4 service: 


5 - running 
6 - require: 
7 - pkg: apache 


上 述 代 但 检查 apache 软 件 包 是 否 已 安装 状态 ， 如 末 
未 安装 ， 将 通过 yum 或 apt 进 行 安装 ; 检查 服务 
apache 进 程 是 否 处 于 运行 状态 。 下 面 详细 进行 说 
明 : 


第 1 行 用 于 定义 state 的 名 称 ， 此 示例 为 apache， 当 然 
也 可 以 取 其 他 相关 的 名 称 。 


第 2 行 和 第 4 行 表示 state 声 明 开 始 ， 使 用 了 pkg 和 
service 这 两 个 状态 对 象 。pkg 使 用 系统 本 地 的 软件 
包 管 理 器 (yum 或 apt) 管理 将 要 安装 的 软件 ， 
service 管 理 系 统 守 护 进程 。 

第 3 行 和 第 5 行 是 要 执行 的 方法 。 这 些 方 法 定义 了 
apache 软 件 包 和 服务 目标 状态 ， 此 示例 要 求 软件 包 
应 当 人 处 于 已 安装 状态 ， 服 务必 须 运 行 ， 如 未 安装 将 














会 被 安装 并 局 动 。 
第 6 行 是 关键 字 require， 它 确保 了 apache 服 务 只 有 在 
成 功 安装 软件 包 后 才 会 局 动 。 





O.. require: 在 运行 此 state 前 ， 先 运行 依 
赖 的 state 关 系 检 查 ， 可 配置 多 个 state 依 赖 对 象 ; 
watch: 在 检查 某 个 state 发 生变 化 时 运行 此 模块 。 


10.6.2 state 的 使 用 


state 的 入 口 文件 与 pillar 一 样 ， 文 件 名称 都 是 
top.sls， 但 state 要 求 sls 文 件 必须 存放 在 saltstack base 
定义 的 目录 下 ， 默 认为 /srvwsalt。state 描 述 配 置 .sls 
文 持 jinjia 模 板 、grains 及 pillar 引 用 等 ， 在 state 的 多 
辑 层次 定义 完成 后 ， 再 通过 salt*'state.highstate 执 行 
生效 。 下 面 扩展 10.5.1 节 定义 的 范例 ， 结 合 grains 与 
pillar， 实 现 一 个 根据 不 同 操作 系统 类 型 部 团 apache 
环境 的 任务 。 


1. 定 义 pillar 














[ /srv/pillar/top.sls】 


base: 


- apache 








在 top.sls 中 引用 二 级 配置 有 两 种 方式 : 一 种 是 直接 

引用 ， 如 本 示例 中 直接 引用 apache.sls; 另 一 种 是 创 
建 apache 目 录 ， 再 引用 目录 中 的 init.sls 文 件 ， 两 者 

效果 是 一 样 的 。 为 了 规范 起 见 ， 笔 者 建议 采用 二 级 
配置 形式 ， 同 理 ，state 的 top.sls 也 采用 如 此 方式 。 














#mkidr /srv/pillar/apache # 创 建 apache 目 录 





[ /srv/pillar/apache/init.sls ] 





pkgs: 

(96 if grains['os family'] == 'Debian' %} 
apache: apache2 
{% elif grains['os family'] == 'RedHat' %} 
apache: httpd 
{% elif grains['os'] == 'Arch' %} 
apache: apache 


{% endif %} 





测试 pillar 数 据 ， 执 行 salt*"pillar.data pkgs， 结 果 返 
回 以 下 信息 ， 说 明 配 置 已 生效 。 





SN2013-08-021: 


apache: 


httpd 


2. 定 义 state 


【 /srv/salt/top.sls ] 


_ TS | 


base: 


te, 


- apache 





【 /srv/salt/apache/init.sls ] 





apache: 
pkg: 
- installed 
- name: {{ pillar['pkgs']['apache'] }} 
service.running: 
- name: {{ pillar['pkgs']['apache'] }} 
- require: 


- pkg: {{ pillar['pkgs']['apache'] }} 


[| 


在 配置 中 ，{{pillar[pkgs][apache]}} 将 引用 匹配 到 

操作 系统 发 行 版 对 应 的 pillar 数 据 ， 笔 者 的 环境 为 

CentOS， 故 将 匹配 为 httpd， 检 查 目 标 主机 是 否 已 经 

安装 ， 没 有 则 进行 安装 (yum-y install httpd) , fE] 

时 检查 apache 服 务 是 否 已 经 启动 ， 没 有 则 启动 
(/etc/init.d/httpd start) 。 





DJ 了 1 J State 


执行 state 及 返回 结束 信息 见 图 10-15。 


[rooteSN2013-08-020 ~]# salt '*' state.highstate 
SN2013-08-021: 


Function: installed 
Result: True 
Comment : The following packages were installed/updated: httpd. 
Changes : httpd: { new : 2.2.15-29.e16.centos 


- service 
httpd 
Function: running 
Result: True 
Comment : Started Service httpd 
Changes: httpd: True 


图 10-15 ”执行 state 的 结果 信息 
从 图 10-15 中 可 以 看 出 ， 结 果 返 回 两 种 对 象 类 型 结 
果 ， 分 别 为 pkg 与 service， 执 行 的 结果 是 自动 部 署 
apache 2.2.15 环 境 并 启动 服务 。 





10.7 “示例 : 基于 Saltstack 实 现 的 配置 集中 
化 管理 

本 示例 实现 一 个 集中 化 的 Nginx 配 置 管理 ， 根 据 业 
务 不 同 设备 型 号 、 人 分区、 内核 参数 的 差异 化 ， 动 态 
产生 适合 本 机 环境 的 Nginx 配 置 文件 。 本 示例 结合 
了 Saltstack 的 grains、grains_module、Ppillar、state、 
jinja (template) 等 组 件 。 


10.7.1 环境 说 明 

具体 对 照 表 10-1 环 境 说 明 表 ， 此 处 省 略 。 
10.7.2” 主 控 端 配置 说 明 
master 主 配置 文件 的 关键 配置 项 如 下 : 
[/etc/salt/master] 配置 片段 ) 


+ 





nodegroups: 


webigroup: 'L@SN2012-07-010, SN2012-07-011, SN2012-07- 
12" 


web2group: 'L@SN2013-08-021, SN2013-08-022' 
file roots: 
base: 
- /srv/salt 


pillar roots: 


base: 


- /srv/pillar 





4E X H'Jpillar. module api、state 目 录 结 构 ， 如 图 10- 
16 所 示 。 


[root@SN2013-08-020 /1# tree srv 


SIV 


- weblserver.sls 


web2server.sls 


Sralns 
nginx confi 
modules 
nginx 
L— nginx. conf 
- nginx.sls 
top.slis 





6 directories, 8 files 


图 10-16 示例 目录 结构 


使 用 Python 编 写 grains_module， 实 现 动 态 配 置 被 控 
主机 grains 的 max_open_file 键 ， 值 为 ulimit-n 的 结 
果 ， 以 全 动态 生成 Nginx.conf 中 的 

worker rlimit nofile、worker_connections 参 数 的 


值 ， 具 体 代码 如 下 : 





import os, sys, commands 


def NginxGrains O : 


return Nginx config grains value 
grains = {} 
max_open_file=65536 
try: 


getulimit-commands.getstatusoutput ('source 
/etc/profile; ulimit -n') 


except Exception, e: 

pass 
if getulimit[0]==0: 

max_open_file=int (getulimit[1]) 
grains['max open file'] = max open file 


return grains 








代码 说 明 见 “10.4.2 定 义 Grains 数 据 ” 得 “ 主 控 端 扩展 
模块 定制 Grains 数 据 ” 


同步 grains 模 块 ， 运 行 : 





# salt '*' saltutil.sync all 





y— /人 一 


刷新 模块 ( 计 minion 编 译 模 块 ) ， 运 行 : 





# salt '*' sys.reload modules 


验证 max_open_file key 的 key 操 作 命 令 见 图 10-17。 


[root@SN2013-08-020 ~]# salt '*' grains.item max open file 
SN2013-08-022: 
max open file: 65535 
SN2013-08 021: 
max open file: 65535 
SN2012-97 011: 


max open file: 65535 
SN2012-07-@12: 

max_open_file: 65535 
SN2012-07-010: 

max_open_file: 65535 





图 10-17 dU max open file key 的 key 信 息 
10.7.3 配置 pillar 


本 示例 使 用 分 组 规则 定义 pillar， 即 不 同 分 组 引用 各 
目的 sls 属 性 ， 使 用 match 属 性 值 进 行 区 分 ， 除 了 属 
性 值 为 nodegroup 外 ， 还 文 持 grain、Ppillar 等 形式 。 
以 下 是 使 用 grain 作 为 区 分 条 件 例 子 : 





dev: 
‘os: Debian': 
- match: grain 


- servers 





本 示例 通过 /etc/salt/master 中 定义 好 的 组 信息 ， 如 
weblgroup 与 Web2group 与 业务 组 ， 分 别 引 用 


web1server.sls Ejweb1server.sls, if 
见 /srv/pillar/top.sls 中 的 内 容 : 


[ /srv/pillar/top.sls ] 


base: 





webigroup: 


- match: nodegroup 


- webiserver 
web2group: 


- match: nodegroup 


- web2server 











定义 私有 配置 。 本 示例 通过 pillar 来 配置 web_root 的 
数据 ， 当 然 ， 也 可 以 根据 不 同 需求 进行 定制 ， 格 式 
为 python 字 典 形 式 ， 即 "key: value". 

[ /srv/pillar/web1server.sls ] 


nginx: 





root: /www 





[ /srv/pillar/web2server.sls ] 


nginx: 





root: /data 





过 查看 不 同 分 组 主机 的 pillar 信 息 来 验证 配置 结 
如 图 10-18 所 示 。 


[ root@Sn2013-08-020 ~]# salt 'SN2013-08-021' pillar.data nginx 
SN2013-08-921: 


'data 


[root@SN2013-08-020 ~]# salt 'SN2012-0/7-010' pillar.data nginx 





图 10-18 不 同 分 组 的 pillar 差 异 信息 
10.7.4 配置 state 
定义 入 口 top.sls: 
【 /srv/salt/top.sls ] 


(| 
base: 


TXT。 


- nginx 





下 面 定 义 nginx 包 、 服 务 状 态 管 理 配置 sis， 其 中 ， 


salt: //nginx/nginx.conf 为 配置 模板 文件 位 置 ，- 
enable: True 检 碍 服务 是 否 在 开机 目 启 动 服务 队列 
中 ， 如 有 条 不 在 则 加 上 ， 等 价 于 chkconfig nginx on 命 
邻 “reload: True”， 表 示 服 务 文 持 reload 操 作 ， 不 加 
则 会 默认 执行 restart 操 作 。watch 一 则 检 

测 /etc/nginx/nginx.conf 是 否 发 生变 化 ， 二 则 确保 
nginx 已 安装 成 功 。 


【/srv/saltnginx.sls 】 


pM 








nginx: 
pkg: 
- installed 
file.managed: 
- source: salt: //nginx/nginx.conf 
- name: /etc/nginx/nginx.conf 
- user: root 
- group: root 
- mode: 644 
- template: jinja 
service.running: 
- enable: True 
- reload: True 
- watch: 


- file: /etc/nginx/nginx.conf 


- pkg: nginx 





定制 Nginx 配 置 文件 jinja 模 板 ， 各 参数 的 引用 规则 如 
T: 


"worker processes Z5 H grains['num_cpus'] F-15 [B 
(与 设备 CPU 核 数 一 致 ) ; 


-Worker_cpu_affinity 分 配 多 核 CPU， 根 据 当 前 设备 
核 数 进行 匹配 ， 分 别 为 2>、4、8、 核 或 其 他 ; 


-worker rlimit nofile、worker_ connections 参 数理 论 
上 为 grains['max_open_file"]; 


:rTO0t 参 数 为 定制 的 pillar['nginx']['root"] 值 。 
【 /srv/salt/nginx/nginx.conf ] 





# For more information on configuration, see: 
user nginx; 

worker processes {{ grains['num cpus'] }}; 
{% if grains['num cpus'] == 2 %} 
worker cpu affinity 01 10; 

(96 elif grains['num cpus'] == 4 %} 
worker cpu affinity 1000 0100 0010 0001; 

(96 elif grains['num cpus'] >= 8 %} 


worker cpu affinity 00000001 00000010 00000100 00001000 


00010000 00100000 01000000 10000000; 
{% else %} 
worker cpu affinity 1000 0100 0010 0001; 
(96 endif %} 
worker_rlimit_nofile {{ grains['max_open_file'] }}; 
error log /var/log/nginx/error.log; 
Zerror log /var/log/nginx/error.log notice; 
Zerror log /var/log/nginx/error.log info; 
pid /var/run/nginx.pid; 
events ( 
worker connections {{ grains['max open file'] }}; 
} 
http { 
include /etc/nginx/mime.types; 
default type application/octet-stream; 


log format main '$remote_addr - $remote user 
[$time local] "$request" ' 


'$status $body bytes sent 
"$http referer" ' 


'"$http user agent" 
"$http x forwarded for"'; 


access log /var/log/nginx/access.log main; 
sendfile on; 

#tcp_nopush on; 

#keepalive_timeout 0; 


keepalive timeout 65; 


Hgzip on; 
# Load config files from the /etc/nginx/conf.d directory 
# The default server is in conf.d/default.conf 
#include /etc/nginx/conf.d/*.conf; 
server ( 
listen 80 default server; 
server name 
Zcharset koi8-r; 
Zaccess log logs/host.access.log main; 
location / ( 
root {{ pillar['nginx']['root'] }}; 
index index.html index.htm; 
} 
error_page 404 /404.html; 
location = /A404.html { 
root /usr/share/nginx/html; 


j 


# redirect server error pages to the static page 
/50x. html 


# 
error_page 500 502 503 504 /50x.html; 
location = /50x.html { 


root /usr/share/nginx/html; 





执行 刷新 state 配 置 ， 结 果 如 图 10-19 所 示 。 


[root@SN2013-08-020 ~]# salt '*' state.highstate 


SN2013-( 





登录 weblgroup 组 的 一 台 服 务 器 ， 检 查 Nginx 的 配 
置 ， 尤 其 是 变量 部 分 的 参数 值 ， 配 置 片 段 如 下 : 


[ /etc/nginx/nginx.conf 】 








user nginx; 

worker_processes 2; 

worker_cpu_affinity 01 10; 
worker_rlimit_nofile 65535; 

error log /var/log/nginx/error.log; 

Zerror log /var/log/nginx/error.log notice; 
Zerror log /var/log/nginx/error.log info; 
pid /var/run/nginx.pid; 

events { 


worker connections 65535; 


location / ( 
root / WWW; 


index index.html index.htm; 





再 登录 web2group 组 的 一 台 服 务 器 ， 检 查 Nginx 的 配 
置 ， 对 比 weblgroup 组 的 服务 器 差异 化 ， 包 括 不 同 
人 硬件 配置 、 内 核 参 数 等 ， 配 置 厂 段 如 下 : 


[ /etc/nginx/nginx.conf ] 





user nginx; 

worker_processes 4; 

worker_cpu_affinity 1000 0100 0010 0001; 
worker_rlimit_nofile 65535; 

error log /var/log/nginx/error.1log: 

Zerror log /var/log/nginx/error.log notice; 
Zerror log /var/log/nginx/error.log info; 
pid /var/run/nginx.pid; 

events ( 


worker connections 65535; 


location / ( 
root /data; 


index index.html index.htm; 





人 至此， 一 个 模拟 生产 环境 Web 服务 集群 的 配置 集中 
化 管理 平台 已 经 搭建 完成 ， 大 家 可 以 利用 这 个 思路 
扩展 到 其 他 功能 平台 。 


第 11 章 ”统一 网 络 控 制 器 Func 详 解 


Func (Fedora Unified Network Controller) 是 由 红 帽 
了 公司 以 Fedora 平 全 构建 的 统一 网 络 控制 磺 ， 是 为 
解决 集群 管理 、 监 控 问 题 而 设计 开发 的 系统 管理 基 
础 框架 ， 官 网 地 址 为 https:/Wfedorahosted.org/func。 
它 是 一 个 能 有 效 简 化 多 服务 器 系统 管理 工作 的 工 
具 ， 它 易于 学 习 、 使 用 和 扩展 ， 功 能 强大 ， 只 需要 
极 少 的 配置 和 维护 操作 。Func 分 为 master 和 slave 两 
部 分 ，master 为 主 控 端 ，slave 为 被 控 端 。Func 具 有 
以 下 特点 。 

: 文 持 在 主 控 机 上 管理 任意 多 人 台 服 务 器 ， 或 任意 多 
个 服务 器 组 。 
en 

jie 


.Func 通 信 基 于 XMLRPC 和 SSL 标 准 协议 ， 具 有 模块 
化 的 可 扩展 的 特点 。 与 Saltstack 认 证 方式 一 致 。 


.可 以 通过 Kickstart 预 安装 Func 到 系统 中 ， 目 动 注 册 
Fl) EPS ARAB AB ita o 


:任何 人 都 可 以 通过 Func 提 供 的 Python API 轻 松 编写 
目 己 的 模块 ， 以 实现 具体 功能 扩展 。 而 且 任 何 Func 
命令 行 能 完成 的 工作 ， 都 能 通过 API 编 程 实现 。 











-提供 封装 大 量 通用 的 服务 磊 管 理 命 令 模块 。 


Eunc 平 合 没有 与 数据 库 关 联 ， 不 需要 复杂 的 安 雄 
与 配置 ， 服 务 器 间 安 全 证 书 的 分 发 都 是 自动 完成 
的 。 


Func 与 Saltstack 在 主 、 被 控 端 建立 信任 机 制 是 一 样 
的 ， 都 采用 了 证 书 + 签名 的 方式 。 相 比 Saltstack 或 

Ansible，Func 在 文件 配置 、 状 态 管理 方面 还 是 空 

白 ， 但 在 远程 命令 执行 、API 支 持 、 配 置 简 单 等 方 
面 还 是 能 体现 出 其 优势 ， 适 合 中 小 型 服务 集群 的 远 
程 命令 执行 、 文 件 分 发 的 工作 ， 同 时 API 支 持 跨 语 
言 ， 可 以 与 现 有 运营 平台 打通 ， 实 现 交 互 式 更 强 、 
体验 更 好 的 目 动 化 运营 平台 。 




















11.4 Func 的 安装 


Func 需 要 在 主 控 端 、 被 控 端 部 署 环 境 ， 建 议 读者 采 
用 yum 的 方式 实现 部 署 。 目 前 Func 最 新 版 本 为 
0.28， 由 func、certmaster、pyOpenSSL 三 个 组 件 组 
成 。 下 面 详细 讲解 Func 的 安装 步骤 。 

11.1.1 业务 环境 说 明 

为 了 方便 读者 理解 ， 笔 者 通过 虚拟 化 环境 部 蓝 功 能 
服务 器 来 进行 演示 ， 操 作 系 统 版 本 为 CentOS release 


6.4， 目 市 Python 2.6.6。 相 头 服务 顺 信息 如 表 11-1 所 
ZN o 


表 11-1 业务 环境 表 说 明 








11.1.2 ”安装 Func 
1. Pea RS BS 


主 控 端 部 署 在 主机 名 为 SN2013-08-020 的 设备 上 ， 
通过 yum 方 式 安 装 ， 如 下 : 





# yum install func -y 


# /sbin/chkconfig --level 345 certmaster on 





在 设备 通信 上 Func 有 要求 使 用 主机 名 来 识别 ， 在 没有 
内 部 域名 解析 服务 的 情况 下 ， 可 通过 配置 主机 hosts 
来 解决 主机 名 的 问题 。 主 控 端 hosts 配 置 如 下 : 


[/etc/hosts ] 








192.168.1.21 SN2013-08-021 
192.168.1.22 SN2013-08-022 


192.168.1.20 func.master.server.com 





4% WX /etc/certmaster/minion.confl'JcertmasterZ Zt, 38 
癌 证 书 服务 需 ， 即 主 控 问 服务 器 ，func 命 令 用 到 此 
配置 ， 如 : 


[ /etc/certmaster/minion.conf 】 





# configuration for minions 

[main] 

certmaster - func.master.server.com 
certmaster port = 51235 

log level - DEBUG 


cert dir - /etc/pki/certmaster 


pM 


局 动 证 书 服务 : 


# /sbin/service certmaster start 





配置 iptables， 开 通 192.168.1.0/24 网 段 访 问 证 书 服务 
51235 (certmaster 服 务 ) 端口 。 





# iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 51235 - 
j ACCEPT 





Bilt, EPs ig Be EEE. 
2. 4B Ta IRA i BL 


被 控 端 部 署 在 主机 名 为 SN2013-08-021、SN2013- 
08-022 的 设备 上 上， 同样 通过 yum 方 式 安立 ， 如 下 : 





# yum install func -y 


# /sbin/chkconfig --level 345 funcd on 


—_—“—“—“—“ eee 


配置 hosts 信 息 : 





192.168.1.20 func.master.server.com 





修改 /etc/certmasterminion.conf 的 certmaster 人 参数 ， 以 
便 指 同 证 书 服务 器 友 出 签名 请 求 ， 建 立信 任 关 系 ， 
Ap: 


[ /etc/certmaster/minion.conf ] 


y Y 


# configuration for minions 

[main] 

certmaster = func.master.server.com 
certmaster port = 51235 

log level - DEBUG 


cert dir - /etc/pki/certmaster 





1% -X/etc/func/minion.confHJminion name#24, EA 
被 控 主 机 的 唯一 标识 ， 一 般 使 用 主机 名 ， 以 
SN2013-08-021 主 机 为 例 ， 配 置 如 下 : 





# configuration for minions 
[main] 

log level = INFO 

acl dir - /etc/func/minion-acl.d 
listen addr - 

listen port - 51234 

minion name - SN2013-08-021 


method log dir = /var/log/func/methods/ 


p—M————————— 


启动 func 服 务 : 


1 
# /sbin/service funcd start 


| 








配置 iptables， 开 通 192.168.1.20 主 控 端 主机 访问 本 
机 51234 CfunclR AS) 端口 。 





# iptables -I INPUT -s 192.168.1.20 -p tcp --dport 51234 -j 
ACCEPT 





至 此 ， 被 控 端 配置 完毕 。 
3. 证 书签 名 


在 主 控 端 运行 cartmaster-ca--list 获 取 当 前 请 求证 书签 
名 的 主机 清单 ， 如 : 








# certmaster-ca --list 


sn2013-08-021 


sn2013-08-022 





证 书签 名 通过 certmaster-ca--sign hostname 命 令 来 完 


EX. Ul: 





# certmaster-ca --sign sn2013-08-021 





当然 ， 也 可 以 结合 --list、--sign 参 数 实现 一 键 完成 所 
有 主机 的 签名 操作 ， 如 : 





# certmaster-ca --sign 'certmaster-ca --list' 





Func 也 提供 了 类 似 Saltstack 目 动 签 名 的 机 制 ， 通 过 
修改 /etc/certmaster/certmaster.conf 的 参数 
autosign=no 为 autosign=yes 即 可 。 


使 用 func"*"list_minions 查 看 已 经 完成 签名 的 主机 
Hs at: 





# func '*' list minions 
sn2013-08-021 


sn2013-08-022 





MIE GARD 签名 主机 使 用 certmaster-ca-c 


hostname, 4: 





# certmaster-ca -c sn2013-08-021 





校 验 安 装 、 任 务 签名 是 否 正 确 ， 通 过 func"*"ping 命 
令 来 测试 ， 如 图 11-1 所 示 。 


[rooteSN2013-08-020 func]? func "*" ping 


[ ok ... ] sn2013-08-022 
[ ok ... ] sn2013-08-0?1 


图 11-1 测试 认证 主机 的 连通 性 





提示 。 对 已 注销 的 被 控 服 务 嚣 ， 要 重新 注 

册 ， 先 删除 被 控 主 机 端 /etc/pki/certmaster/ 下 的 证 书 
文件 ， 再 运 3 行 certmaster-request 进 行 证 书 请 求 ， 具 
体操 作 步 又 如 下 : 





4 rm -rf /etc/pki/certmaster/ 主 机 名 .* 


# /usr/bin/certmaster-request 


ee | 


11.2 ”Func 常 用 模块 及 API 


Func 提 供 了 非常 丰富 的 功能 模块 ， 包 括 
CommandModule (执行 命令 ) 、 

CopyFileModule (#5 I1 xF) 、CpuModule (CPU 
信息 ) . DiskModule 〈 磁 盘 信 息 ) 、 
FileTrackerModule (SCF FRR) 、 

IPtablesModule (iptables 管 理 ) 、 

MountModule (Mount 挂 载 〉、 
NagiosServerModule (Nagios 管 理 ) 、 

NetworkTest (网 络 测 试 ) ~ ProcessModule (进程 
管理 ) . SysctlModule (sysctl EIE) 、 
SNMPModule (SNMP 信 息 ) ， 等 等 ， 更 多 模块 介 
绍 见 官网 模块 介绍 : 
https://fedorahosted.org/func/wiki/ModulesList。 命 令 


行 调用 模块 格式 : 


func< 目 标 主机 >call<module_name (模块 名 ) > 
«method name (方法 名 ) ><module_args (模块 参 
数 ) > 


模块 命令 行 执行 结果 都 以 Python 的 元 组 字符 串 返 回 
(API 以 字典 形式 返回 ) ， 这 对 后 续 进 行 结果 集 的 
解析 工作 非常 有 利 ， 例 如 ， 远 程 运行 “df-m>” 命 令 的 
运行 结果 如 图 11-2 所 示 。 








[rooteSN2013-88-020 ~]# func "SN2013-08-022" call command run "df -a" 
C'sn2@13-@8-022", 


Used Available Uses Mounted on\n/dev/sdal 
242 [2 242 OK /dev/shmwn/dev/sda3 





图 11-2 ”返回 主机 内 存 使 用 信息 


在 所 有 模块 中 ，CommandModule 模 块 最 常用， 可 以 
在 目标 被 控 主 机 执行 任意 命令 。 笔 者 建议 使 用 API 
方式 对 应 用 场景 的 逻辑 进行 封装 ， 将 权限 放 到 一 个 
预先 定制 好 的 方 框 中 ， 实 现 收敛 操作 。 下 面 对 Func 
常用 的 模块 一 一 进行 讲解 。 

11.2.1 选择 目标 主机 


Func 选 择 目 标 主机 操作 对 象 支持 “*” 与 “? ”方式 匹 
配 ， 其 中 “*” 代 表 任 意 多 个 字符 ,“? ”代表 单个 任意 
"ET Wu 





# func "SN2013-*-02? " call command run "uptime" 





“SN2013-*-02? ”在 本 文 环 境 中 将 匹配 到 SN2013-08- 
021、SN2013-08-022 两 台 主 机 ， 可 以 根据 实际 应 用 
场景 随意 组 合 。 例 如 ， 我 们 定义 的 多 台 Web 业 务 服 
务 器 主机 名 分 别 为 : webl. web2. web3. .... 
webn.webapp.com， 要 查看 所 有 Web 应 用 的 uptime 信 
县 可 以 运行 : 





# func "web*.webapp.com" call command run "uptime" 





Pv 


^" ADEA EH Sa. un: 





# func "web.example.org; mailserver.example.org: 
db.example.org" call command run "df -m" 





11.2.2 常用 模块 详解 
1. 执 行 命令 模块 
(1) 功能 
CommandModule 实 现 Linux 远 程 命令 调用 执行 。 
(2) 命令 行 模式 





# func "*" call command run "ulimit -a" 


# func "SN2013-08-022" call command run "free -m" 


= 


(3) API 模 式 


ee | 


import func.overlord.client as func 
client - func.Client ("SN2013-08-022") 


print client.command.run ("free -m") 


_ TS | 


2. AFFE DURER 


(1) 功能 


CopyFileModuleS Sy E 44 vin [8] A s ELS Ul xc, 
类 似 于 scp 的 功能 。 


(20 命令 行 模 式 





# func "SN2013-08-022" copyfile -f /etc/sysctl.conf -- 
remotepath /etc/sysctl.conf 


pM 


(3) API 模 式 


R= 


import func.overlord.client as func 
client - func.Client ("SN2013-08-022") 


client.local.copyfile.send ("/etc/sysctl.conf", "/tmp/sysctl.cor 


p—M————————— 


3.CPU 信 息 模块 
(1) 功能 


CPD) 采样 平均 值 ， 如 下 面 示例 中 的 参数 “10”。 


(20 fi TUN 





# func "SN2013-08-022" call cpu usage 


# func "SN2013-08-022" call cpu usage 10 


_ TT | 


(3) API 模 式 


[ee | 


import func.overlord.client as func 
client - func.Client ("SN2013-08-022") 


print client.cpu.usage (10) 


4. 做 盘 信息 模块 
(1) 功能 


DiskModule 实 现 获 取 远 程 主机 的 磁盘 分 区 信息 ， 参 
数 为 分 区 标签 ， 如 /data 分 区 。 


(20 命令 行 模式 








# func "SN2013-08-022" call disk usage 


# func "SN2013-08-022" call disk usage /data 


_ TS | 


(3) API 模 式 


[ee | 


import func.overlord.client as func 
client - func.Client ("SN2013-08-022") 


print client.disk.usage ("/dev/sda3") 





5. 找 贝 远程 文件 模块 


(1) 功能 


GetFileModule 实 现 拉 取 远 程 Linux 主 机 指定 文件 到 
主 探 端 上 日 录 ， 不 支持 命令 行 模式 。 


(2) API 模 式 











import func.overlord.client as func 
client - func.Client ("SN2013-08-022") 


client.local.getfile.get ("/etc/sysctl.conf", "/tmp/") 





6.iptables 管 理 模 块 
(1) 功能 


IPtablesModule 实 现 远 程 主 机 iptables 配 置 。 
(2) 命令 行 模式 





# func "SN2013-08-022" call iptables.port drop to 53 
192.168.0.0/24 udp src 


# func "SN2013-08-022" call iptables drop from 192.168.0.10 


(3) API 模 式 


ee | 


import func.overlord.client as func 


client - func.Client ("SN2013-08-022") 


client.iptables.port.drop to (8080, "192.168.0.10", "tcp", 
"dst") 





7. 系 统 人 硬件 信息 模块 
(1) 功能 


HardwareModule 返 回 远程 主机 系统 硬件 信息 。 
(2) 命令 行 模式 





# func "SN2013-08-022" call hardware info 


# func "SN2013-08-022" call hardware hal info 


[a 


(3) API 模 式 


ee | 


import func.overlord.client as func 
client - func.Client ("SN2013-08-022") 
print client.hardware.info (with devices-True) 


print client.hardware.hal info © 





8. 系 统 Mount 管 理 模块 
(1) 功能 


MountModule 实 现 远 程 主 机 Linux 系 统 挂 载 、 凶 载 分 
区 管理 。 


(20 命令 行 模式 





# func "SN2013-08-022" call mount list 


# func "SN2013-08-022" call mount mount /dev/sda3 /data 


# func "SN2013-08-022" call mount umount "/data" 


p—M—————————Á 


(3) API 模 式 


ee | 


import func.overlord.client as func 
client - func.Client ("SN2013-08-022") 
print client.mount.list () 

print client.mount.umount ("/data") 


print client.mount.mount ("/dev/sda3", "/data") 





9. 系 统 进 程 管理 模块 
(1) 功能 


ProcessModule 实 现 远程 Linux 主 机 进程 管理 
(20 fi TUN 





# func "SN2013-08-022" call process info "aux" 
# func "SN2013-08-022" call process pkill nginx -9 


# func "SN2013-08-022" call process kill nginx SIGHUP 


—— 1 


(3) API 模 式 


[ee | 


import func.overlord.client as func 

client = func.Client ("SN2013-08-022") 
print client.process.info ("aux") 

print client.process.pkill ("nginx", "-9") 


print client.process.kill ("nginx",  "SIGHUP") 





10. 系 统 服务 管理 模块 
(1) 功能 

ServiceModule 实 现 远程 Linux 主 机 系统 服务 管理 。 
(2) 命令 行 模式 





# func "SN2013-08-022" call service start nginx 





(3) API 模 式 


[ee | 


import func.overlord.client as func 
client - func.Client ("SN2013-08-022") 


print client.service.start ("nginx") 





11. 系 统 内 核 参 数 管 理 模块 


(1) 功能 


SysctIModule 实 现 远 程 Linux 主 机 系统 内 核 参数 管 
理 Oo 


(2) 命令 行 模 式 





# func "SN2013-08-022" call sysctl list 
# func "SN2013-08-022" call sysctl get net.nf conntrack max 


# func "SN2013-08-022" call sysctl set net.nf conntrack max 
15449 


(3) API 模 式 


[ee | 


import func.overlord.client as func 
client - func.Client ("SN2013-08-022") 
print client.sysctl.list (D 


print 
client.sysctl.get ('net.ipv4.icmp echo ignore broadcasts') 


print client.sysctl.set ('net.ipv4.tcp_syncookies', 1) 





func 命 令 功能 参数 举例 : 


1) 查看 所 有 主机 uptime， 开 局 5 个 线程 异步 运行 ， 
超时 时 间 为 3 秒 ， 命 令 如 下 : 








# func -t 3 "*" call --forks="5" --async command run 


"/usr/bin/uptime" 





2) 格式 化 输出 结果 ， 默 认 格 式 为 Python 的 元 组 ， 
分 别 添 加 --jsion 或 --xml 来 输出 JSON 及 XML 格式 ， 
命令 如 下 : 





# func -t 3 "*" call --forks="5" --json --async command run 
"/usr/bin/uptime" 


en. eee 


11.3 É X Funct Ek 


Func 目 带 的 模块 已 经 非常 丰富 ， 但 在 日 党 系统 运 维 
当中 ， 尤 其 是 面 对 大 规模 的 服务 器 集群 、 不 同类 别 
的 业务 平台 ， 此 时 Func 目 融 的 模块 或 许 已 经 不 能 满 
足 我 们 的 需求 ， 所 以 有 必要 通过 自 定 模 块 来 填补 这 
块 的 不 足 。 本 节 介 绍 一 个 简单 的 Func 自 定义 模块 
的 ， 通 过 采用 Func 目 市 的 建 模 块 工具 func-create- 
module 来 现实 。 


(1) 目 定 义 模 块 步 又 


如 图 11-3 所 示 ， 目 定义 模块 分 为 四 个 步骤 进行 ， 第 
一 步 生 成 模块 ， 即 通过 fun-create-module 命 令 创建 
模块 初始 模板 : 第 二 步 编写 馆 辑 ， 即 填充 我 们 的 业 
务 功 能 逻辑 ， 生 成 模块 第 三 步 分 发 模块 ， 将 编写 
完成 的 模块 分 发 到 所 有 被 控 主 机 ， 第 四 步 执 行 已 经 
分 发 完成 的 模块 ， 调 用 方法 与 Func 目 带 模块 无 产 

异 。 详 细 过 程 见 图 11-3。 











(2) 生成 模块 
切换 到 Func 安 装 包 minion 模 块 存 储 目录 。 笔 者 使 用 


的 是 系统 自 带 的 Python 2.6, AKER 
7j/usr/lib/python2.6/site- 
packages/func/minion/modules. 





# cd /usr/lib/python2.6/site-packages/func/minion/modules 





cu m 命令 func-create-module， 根 据 图 11-14 
填写 相关 信息 。 


| A A 
Module Name: MyModule 

Description: My module for func. 

Author: liutiansi 

Email: liutiansi@gmail.com 


Leave blank to finish. 

Method: echo 

Method: 

Your module 1s ready to be hacked on. Wrote out to mymodule.py. 


图 11-4 创建 模块 时 填写 的 信息 


最 终生 成 了 一 个 初始 化 的 模块 代码 文件 
mymodule.py: 





[ /usr/lib/python2.6/site- 
packages/func/minion/modules/mymodule.py ] 





H 
# Copyright 2014 


# liutiansi <liutiansi@gmail.com> 


# 


# This software may be freely redistributed under the terms 
of the GNU 


# general public license. 
# 


# You should have received a copy of the GNU General Public 
License 


# along with this program; if not, write to the Free 
Software 


# Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, 
USA. 


import func_module 
class Mymodule (func module.FuncModule) : 


# Update these if need be. 


version - "0.0.1" 
api version - "0.0.1" 
description - "My module for func." 


def echo (self) : 


TODO: Document me ... 


pass 





(3) 编写 逻辑 
这 一 步 只 需 在 上 述 模块 基础 上 做 修改 即 可 ， 如 模块 


实现 一 个 根据 指定 的 条 数 返 回 最 新 系统 日 志 
(/var/log/messages) 信息 ， 修 改 后 的 代码 如 下 : 


[ /usr/lib/python2.6/site- 
packages/func/minion/modules/mymodule.py ] 





# 

# Copyright 2010 

# liutiansi <liutiansi@gmail.com> 
# 


# This software may be freely redistributed under the terms 
of the GNU 


# general public license. 
# 


# You should have received a copy of the GNU General Public 
License 


# along with this program; if not, write to the Free 
Software 


# Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, 
USA. 


import func_module 
from func.minion import sub_process 
class Mymodule (func_module.FuncModule) : 
# Update these if need be. 
version = "0.0.1" 
api_version = "0.0.1" 


description = "My module for func." 


def echo (self, vcount) : 


TODO: response system messages info 


command="/usr/bin/tail -n "+str (vcount) +" 
/var/log/messages" 


cmdref = sub_process.Popen (command, 
stdout=sub_process.PIPE, 


stderr=sub_process.PIPE, 
shell=True, 


close _fds=True) 
data = cmdref.communicate () 


return (cmdref.returncode, data[0]. data[1]) 





(40 分 发 模块 

首先 编写 分 发 模块 的 功能 ， 使 用 Func 的 copyfile 模 块 
来 实现 ， 原 理 比较 简单 ， 即 读 取 主 控 闹 func minion 
包 下 的 模块 文件 (参数 传 入 ) ， 通 过 Func 的 copyfile 
模块 同步 到 目标 主机 的 同 路 径 下 。 一 次 编写 可 持续 
使 用 ， 源 码 如 下 : 


[/home/test/func/RsyncModule.py ] 











#! /usr/bin/python 
import sys 


import func.overlord.client as fc 


import xmlrpclib 
module - sys.argv[1] 


pythonmodulepath="/usr/lib/python2.6/site- 
packages/func/minion/modules/" 


client = fc.Client ("*") 

fb = file (pythonmodulepath+module, "r") .read © 
data = xmlrpclib.Binary (fb) 

# 分 发 模块 


print client.copyfile.copyfile (pythonmodulepath+ module, 
data) 


# 重 启 Func 服 务 


print client.command.run ("/etc/init.d/funcd restart") 





分 发 模块 的 运行 结果 如 图 11-5 所 示 。 


[rooteSN2013-08-070 func]f cd /home/test/func/ 
[root&SN2013-08-020 func] «p /usr/lib/python?2 .6/si Le-packages/Func/mi ni on/nodul es/mynodule.py /home/test/func/ 
[root&$N2013-08-070 func]f python RsyncModule.py mynodule. py 


{'sn2@13-@8-@22': @, ‘sn2013-08-@21': @} 
{'sn2013-08-022': [0, "Stopping func daemon: [ OK J\nSterting func daemon: [ OK J\n', °"], °sn2013-08-O21': [ 
6, ‘Stopping func daemon: [ OK J\nStarting func daemon: [ OK ]W', '"J} 


[root@SN2013-08-020 func]? 
图 11-5 ”模块 分 发 结果 


检查 被 控 主 机 /usr/lib/python2.6/site- 
packages/func/minion/modules 目 录 是 否 多 了 一 个 
mymodule.py 文 件 ， 是 则 说 明 模 块 已 经 成 功 分 友 。 


(5) 执行 模块 
最 后 ， 执 行 模块 及 返回 结果 见 图 11-6。 








[root&$SN2013-08-070 func]$ func "SN2013-08-021" call mymodule echo 5 
['sn2013-08-071': [@, 

"Joan 1 @7:42:25 SN2@13-@8-821 ntpd[1048]: synchronized to 2109.72.145.44，strotum 1\nJan 1 @ 
7:46:19 SN2013-@8-021 ntpd[1040]: time reset +233.75648@ s\nJan 1 @7:46:19 SN2@13-@8-021 ntpd[194 的 : kernel tim| 


e sync stetus change 20@1\nJon 4 03:48:44 SN2013-08-@21 ntpd[1010]: synchronized to 210.72.145.44, stratum i\nJ] 
on 4 03:48:44 SN2013-08-@21 ntpd[1640]: no servers reachablewn', 


"UH 





图 11-6 ”执行 模块 结果 


正常 运 回 了 5 条 /var/log/messages 信 息 ， 完 成 了 上 自 定 
义 模块 的 全 过 程 。 


11.4 dEPython API 接 口 支持 


Func 通 过 非 Python API 实 现 远程 调用 ， 目 的 是 为 第 
三 方 工具 提供 调用 及 返回 接口 。Func 使 用 func- 
transmit 命 令 来 实现 ， 文 持 YAML 与 JSON 格 式 ， 实 
现 了 路 应 用 平台 、 语 言 、 工 具 等 ， 比 如 通过 Java 或 
C 生 成 JSON 格 式 的 接口 定义 ， 通 过 fun-transmit 命 令 
进行 调用 ， 使 用 上 非常 简单 ， 扩 展 性 也 非常 强 。 


定义 一 个 command 模 块 的 远程 执行 ， 分 别 末 用 
YAML 及 JSON 格 式 进行 定义 ， 如 下 : 


[/home/test/func/run.yaml ] 

















clients: "*" 
async: False 
nforks: 1 
module: command 
method: run 


parameters: "/bin/echo Hello World" 





[/home'/test/func/run.json] 





{ 


"clients": "*" 


"async": "False", 


"nforks": 41, 

"module": "command", 

"method": "run", 

"parameters": "/bin/echo Hello World" 





各 参数 详细 说 明 如 下 。 
clients， 目 标 主 机 ，"#" 代 表 所 有 被 控 主 机 ; 


async， 是 否 寞 步 ， 古 一 个 布尔 值 ，True 为 使 用 异 
步 ，False 则 不 使 用 ; 


nforks， 启 用 的 线程 数 ， 用 数字 表示 ; 


-module， 模 块 名 称 ， 如 command、copyfile、 


process 等 ; 


:method， 方 法 名 称 ， 如 command 模 块 下 的 run 方 
法 ; 


-parameters， 人 参数 ， 如 "usrbin/tail- 
100/var/log/messages" - 


通过 func-transmit 命 令 调 用 不 同 接口 配置 ， 将 返回 
不 同 的 格式 串 ， 如 图 11-7 和 图 11-8 所 示 。 





[root@SN2013-08-020 func]# func-transmit --yaml < run.yaml 


sn2013-08-021: 
0 
- | 


Hello World 


sn2013-98-92?: 
| 
Hello World 





图 11-7 返回 标准 的 YAML 格 式 


--json < run.json 


[rooteSN2013-08-020 func]# func-transmit 
"sn2013-08-021": [0, "Hello World\n", ^"]] 





['sn2013-08-022": [@, "Hello World\n", ""], 


图 11-8 返回 标准 的 JSON 格 式 


返回 的 两 种 格式 都 可 以 被 绝 大 部 分 语言 所 解析 ， 方 
便 后 续 处 理 。 


11.5 FuncHJFactsx $5 


Facts 是 一 个 非常 有 用 的 组 件 ， 其 功能 类 似 于 
Saltstack 的 grains、Ansible 的 Facts， 实 现 获取 远程 主 
机 的 系统 信息 ， 以 便 在 对 目标 主机 操作 时 作为 条 件 
进行 过 滤 ， 产 生 差 异 。Func 的 Facts 支 持 通 过 API 来 
扩展 用 户 自 己 的 属性 。Facts 由 两 部 分 组 成 ， 一 为 模 
ER (module) ， 田 为 方法 (method) ， 可 通过 
list fact modules. list fact methods 方 法 来 查看 当前 
文 持 的 模块 与 方法 的 清单 ， 如 图 11-9 所 示 。 











[rooteSN2013-08-020 func]? func "*" call fact list fact modules 
['sn2013-08-021': ['hardware', 'fact module'], 
'sn2013-08-022'* ['hardware', 'fact module' ]} 

[rooteSN2013-08-020 func]? 

[rooteSN2013-08-020 func]? func "*" call fact list fact methods 

['sn2013-08-021': ['hardware.cpu model', 
'kernel', 
'cpunodel', 
'hardware.kernel version', 
'cpuvendor' , 
'hardware.run level', 
'hardware.cpu vendor', 
'hardware.os name', 
'runlevel', 
'os'], 

'sn2013-08-022': ['hardware.cpu model', 

'kernel', 
'cpunodel ' , 
'hardware.kernel_version", 
'cpuvendor' , 
'hardware.run level', 
'hardware.cpu vendor', 
'hardware.os name', 
‘runlevel’, 


'os" |} 


图 11-9 ”查看 主机 支持 模块 及 方法 





在 使 用 Facts 时 ， 我 们 关注 它 的 方法 Cfunc"*"call 
fact list_fact_methods 显 示 的 清单 ) 即 可 ， 可 通过 命 
令 行 调 用 Facts 的 call_fact 方 法 和 查看 所 有 主机 的 操作 
系统 信息 ， 具 体 见 图 11-10。 


[rooteSN2013-08-020 func]? func "*" call fact call fact "os" 
1'sn2013-08-021': "CentOS release 6.4 (Final)', 


'sn2013-08-022': "CentOS release 6.4 (Final)'} 


图 11-10 ”但 看 主机 操作 系统 信息 





Fact 文 持 and 与 or 作为 条 件 表 达 却 连接 操作 符 ， 下 面 
详细 介绍 。 


(1) and 表 达 式 --filter 
BYE: 


pM 


--filter "keyword[operator]value, keyword2[operator]value2" 


--filter "value in keyword, value ini keyword" 








示例 : 所 有 满足 内 核 CkerneD 版 本 大 于 或 等 于 
2.6， 并 且 操 作 系 统 信息 包含 CentOS 的 目标 主机 运 
行 uptime 命 令 ， 如 图 11-11 所 示 。 


[rooteSN2013-08-020 func]$ func "*" call --filter "kernels-—2.6,CentOS in os" command run "uptime" 
('sn2013-08-022' , 


[@, 
' 04:29:41 up 1 day, 21:27, 1 user, load average: 0.00, 0.00, 0.00\n', 


J) 
'sn2013-08-021', 
ð 





' 11:46:32 up 2 days, 9:36, 1 user, load average: 0.00, 0.00, 0.09^n', 
TEM 


图 11-11 根据 fact 条 件 Cand) 过 滤 主 机 
(2) or 表达 式 --filteror 
语法 


[| 


--filteror "keyword[operator]value, keyword2[operator]value2" 


--filteror "value in keyword, value ini keyword" 


[ee | 





示例 : 所 有 满足 内 核 (kerne) 版 本 大 于 或 等 于 
2. 2.6, 或 者 运行 级 别 等 于 5 的 目标 主机 运行 df-m 命 
如 图 11-12 所 示 。 


[rootéSN2013-08-020 func]# func "*" call --filteror “kernel>—2.6,runlevel-5* command run “df -m* 
C 'sn2013-08-022', 
[@, 
"Filesy X ks Used Available Use% Mounted on\n/dev/sdal 14765 
2739 " n 20% Anta 242 @ 242 Q0 /dev/shm\n/dev/sda3 
4385 4004 4% /data\n', 


etg. 
C'sn2013-08-071', 
[9 


'Filesystem 1M blocks Used Available Use% Mounted on\n/dev/sdal 14765 
3091 10924 23% /\ntmpfs 242 9 242 O% /dev/shm\n/dev/sáa3 
43 160 40903 4% /data\n', 
"D 





图 11-12 ”根据 fact 条 件 (or) 过 小 主机 





名 11.1 闻 ~11.5 节 关于 Func 的 介绍 
参考 官网 文档 https://fedorahosted.org/func/。 


第 12 章 ”Python 大 数据 应 用 详解 


随 看 云 时 代 的 到 来 ， 大 数据 Cbig data) 也 越 来 越 受 
大 家 的 关注 ， 比 如 互联 网 行业 日 常生 成 的 运营 、 用 
户 行 为 数据 ， 随 着 时 间 及 访问 量 的 增长 这 一 规模 日 
益 庞 大 ， 单 位 可 达到 日 TB 或 PB 级 别 。 如 何在 如 此 
庞大 的 数据 中 挖掘 出 对 我 们 有 用 的 信息 ?目前 业界 
主流 存储 与 分 析 平 台 是 以 Hadoop 为 主 的 开源 生态 
圈 ，MapReduce 作 为 Hadoop 的 数据 集 的 并 行 运算 模 
型 ， 除 了 提供 Java 编 写 MapReduce 任 务 外 ， 还 兼容 
了 Streaming 方 式 ， 我 们 可 以 使 用 任意 脚本 语言 来 编 
写 MapReduce 任 务 ， 优 点 是 开发 简单 且 灵 活 。 本 章 
详细 介绍 如 何 使 用 Python 语 言 来 实现 大 数据 应 用 ， 
将 分 别 通 过 原生 Python 与 框架 (Framework) 方式 
进行 说 明 。 

















Cz 

o. 因为 Hadoop 不 作为 本 章 的 主体 内 
容 ， 所 以 将 不 对 其 架构 、 子 项 目 、 优 化 等 进行 说 
HH 


12.1 环境 说 明 

为 了 方便 读者 理解 ， 笔 者 通过 虚拟 化 环 卉 部 普 了 
Hadoop F A RITAR, PAE RAAE CentOS 
release 6.4， 以 及 Python 2.6.6、hadoop-1.2.1、 
jdk1.6.0 45、mrjob-0.4.2 等 。 相 关 服 务 器 信息 如 表 
12-1 所 示 。 


表 12-1 环境 说 明 表 







功能 





Mast SN201 1.20 NameNode | Secondarynamenode | JobTracker | data 
Slav | SN2012-07-010 192.168.1.21 | DataNode | TaskTracker | data 
Sla SN201 11 192.1 DataNode | TaskTracker | data 


12.2 ”Hadoop 部 署 


H FX Hadoop 2 Master; IH] ATA Salve EHLE, 
无 密码 登录 ， 即 配置 账 亏 公 钥 认证 ， 有 其 体 参 考 9.2.5 
节 关 于 配置 Linux 主 机 SSH 无 密码 访问 的 介绍 ， 本 节 
将 不 再 陈述 。 


(1) 安装 


SSH 登 录 Master 主 机 ， 这 里 使 用 root 账 与 进行 相关 演 
示 。 FAB IDK AIS: 

















# mkdir -p /usr/java/ && cd /usr/java 

# wget http: //uni- 

smr.ac.ru/archive/dev/java/SDKs/sun/ j2se/6/jdk-6u45- Linux - 
x64.bin 

# chmod +x jdk-6u45-linux-x64.bin 

# ./jdk-6u45-linux-x64.bin 

# vi /etc/profile (配置 Java 环 境 变量 ， 追 加 以 下 内 容 ) 

export JAVA HOME-/usr/ java/jdk1.6.0 45 

export PATH=$PATH: $JAVA HOME/bin 


export CLASSPATH-.: $JAVA HOME/jre/lib: $JAVA HOME/1lib: 
$JAVA HOME/lib/tools.jar 


4 cd /etc (使 环境 变量 生效 ) 


# . profile 





安装 Hadoop， 版 本 为 1.2.1， 安 装 路 径 为 /usr/local。 





# cd /usr/local 


# wget http: //mirrors.cnnic.cn/apache/hadoop/common/hadoop- 
1.2.1/hadoop-1.2.1.tar.gz 


# tar -zxvf hadoop-1.2.1.tar.gz 


# cd /usr/local/hadoop-1.2.1/conf 





修改 目录 Cusr/local/hadoop-1.2.1/conf) 中 的 四 个 
Hadoop 核 心 配 置 文件 hadoop-env.sh、core-site.xml、 
hdfs-site.xml、mapred-site.xml， 具 体内 容 如 下 : 


-hadoop-env.sh，Hadoop 环 境 变 量 配 置 文件 ， 指 定 
JAVA HOME: 








export JAVA HOME-/usr/java/jdk1.6.0 45 





core-site.xml, Hadoop core 的 配置 项 ， 主 要 针对 
Common 组 件 的 属性 配置 。 由 于 默认 的 
hadoop.tmp.dir 的 路 径 为 /mp/hadoop-${fuser.name}， 
笔者 的 Linux 系 统 的 /imp 文件 系统 的 类 型 是 Hadoop 
不 支持 的 ， 会 报 “File/tmp//input/conf/slaves could 
only be replicated to 0 nodes, instead of 1” °% , 
此 手工 修改 hadoop.tmp.dir 指 癌 /data/tmp/hadoop- 
${user.name}， 作 为 Hadoop 用 户 的 临时 存储 目录 ， 
配置 如 下 : 


Le | 
<configuration> 


<property> 
<name>hadoop.tmp.dir</name> 


<value>/data/tmp/hadoop-${user .name}</value> 
</property> 


<property> 
<name>fs.default .name</name> 
<value>hdfs: //192.168.1.20: 9000</value> //master 主 机 IP: 
9000 端 口 
</property> 


</configuration> 





:hdfs-site.xml，Hadoop 的 HDFS 组 件 的 配置 项 ， 包 
括 Namenode、Secondarynamenode 和 Datanode 等 ， 
配置 如 下 : 





«configuration» 


«property» 

<name>dfs.name.dir</name> 
<value>/data/hdfs/name</value> 
务 日 志 路 径 


//Namenode 持 久 存 储 名 字 空 间 、 
</property> 


lin] 


in 





«property» 
<name>dfs.data.dir</name> 
<value>/data/hdfs/data</value> 


//Datanode 数 据 存储 路 径 


</property> 
<property> 
«name»dfs.datanode.max.xcievers«/name» 


«value»4096«/value» //Datanode 所 允许 同时 执行 的 发 送 和 接受 任务 数 
量 ， 默 认为 256 








</property> 
<property> 


<name>dfs.replication</name> 





<value>2</value> // 数 据 备份 的 个 数 ， 默 认为 3 
</property> 


</configuration> 





(ar 


-mapred-site.xml， 配 置 map-reduce 组 件 的 属性 ， 
括 jobtracker 和 tasktracker， 配 置 如 下 : 





<configuration> 

<property> 
<name>mapred.job.tracker</name> 
<value>192.168.1.20: 9001</value> 
</property> 


</configuration> 





-masters， 配 置 Secondarynamenode 项 ， 环 境 使 用 主 
设备 192.168.1.20 同 时 承担 Secondarynamenode 的 角 


色 ， 生 产 环 境 要 求 使 用 独立 服务 器 ， 起 到 HDFS 文 
件 系 统 元 数据 (metadata) 信息 的 备份 作用 ， 当 
NameNode 发 生 故 障 后 可 以 快速 还 原 数 据 ， 配 置 内 
容 如 下 : 





192.168.1.20 





“slaves， 配 置 折 有 Slave 主 机 人 信息， 填写 IP 地 址 即 
可 。 本 示例 中 Slave 的 信息 如 下 : 





192.168.1.21 


192.168.1.22 





接 下 来 ， 从 主 节点 (Master) 复制 jdk 及 Hadoop 环 境 
到 所 有 Slave， 目 标 路 径 要 与 Master 保 持 一 致 ， 切 
记 ! 执行 以 下 命令 进行 复制 : 





# ssh root@192.168.1.21 '[ -d /usr/java ] || mkdir -p 
/usr/java ]' 


# ssh root@192.168.1.22 '[ -d /usr/java ] || mkdir -p 
/usr/java ]' 


# scp -r /usr/java/jdk1.6.0 45 root@192.168.1.21: /usr/java 
# scp -r /usr/java/jdk1.6.0 45 root@192.168.1.22: /usr/java 


# scp -r /usr/local/hadoop-1.2.1 
root@192.168.1.21: /usr/local 


# scp -r /usr/local/hadoop-1.2.1 
root@192.168.1.22: /usr/local 


Hadoop e JHE Mr 3 HEA 因此 需 
配置 主机 名 hosts 信 息 CES UR CR GERE ATE 
DNS 服务 ) , fi Hadooop£f Ht ffr 有 主机 

的 /etc/hosts 文 件 配置 如 下 : 








192.168.1.20 SN2013-08-020 
192.168.1.21 SN2013-08-021 


192.168.1.22 SN2013-08-022 





管理 员 通 过 浏览 器 查看 datanode 人 信息， 需要 配置 本 
地 hosts， 如 Windows 7 系统 hosts 文 件 路 径 为 
C:\Windows\System32\drivers\etc， 添 加 所 有 
datanode 主 机 信息 ， 如 下 : 





192.168.1.21 SN2013-08-021 


192416385 1.22 SN2013-08-022 





如 设备 启用 了 iptables 防 火 墙 ， 需 要 对 主 节点 
(Master) /£Slave3- Ls JH LA P AMI): 





Master: 


iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 50030 -j 
ACCEPT 


iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 50070 -j 
ACCEPT 


iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 9000 -j 
ACCEPT 


iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 9001 -j 
ACCEPT 


Slaves: 


iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 50075 -j 
ACCEPT 


iptables -I INPUT -s 192.168.1.0/24 -p tcp --dport 50060 -j 
ACCEPT 


iptables -I INPUT -s 192.168.1.20 -p tcp --dport 50010 -j 
ACCEPT 








配置 完成 后 在 主 节点 (Master) 上 格式 化 文件 系统 
Hjnamenode， 执 行 : 





# cd /usr/local/hadoop-1.2.1 


# bin/hadoop namenode -format 





最 后 ， 在 主 节 点 ( Master) 上 执行 启动 命令 ， 如 
下 : 





# bin/start-all.sh 





(20 检验 安装 结果 


Hadoop 官 方 提供 的 一 个 测试 MapReduce 的 示例 ， 执 
行 : 





4 bin/hadoop jar hadoop-examples-1.2.1.jar pi 10 100 





如 果 返 回 如 图 12-1 所 示 结 果 ， 则 说 明 配 置 成 功 。 


[rooteSN2013-08-020 hadoop-1.2.1]# bin/hadoop jar hadoop-examples-1.2.1.jar pi 10 100 
Number of Maps = 10 

Samples per Map = 100 

Wrote input for Map #0 

Wrote input for Map #1 

Wrote input for Map #2 

Wrote input for Map #3 

Wrote input for Map #4 

Wrote input for Map #5 

Wrote input for Map #6 

Wrote input for #7 

Wrote input for #8 

Wrote input for #9 

Starting Job 

14/08/10 19:51:55 mapred.FileInputFormat: Total input paths to process : 
147/98/18 19:51: mapred.JobClient: Running job: job 291408101951 0001 
14/08/10 19:51:5 mapred.JobClient: map @% reduce 0X 

14/08/10 19:54:13 mapred.JobClient: map 2@% reduce 0X 

14/08/10 19:54: mapred.JobClient: map 3@% reduce 0% 

14/08/10 19:54:5 mapred.JobClient: map 5@% reduce 0% 

14/08/10 19:54:5 mapred.JobClient: map 6 reduce 0% 

14/08/10 19:55:12 mapred.JobClient: map f reduce 20% 

14/08/10 19:55: mapred.JobClient: map 80% reduce 20% 

14/08/10 19:55: mapred.JobClient: map 90% reduce 20% 

14/08/10 19:55:: mapred.JobClient: map 100% reduce 20% 

14/08/10 19:55:: mapred.JobClient: map 100% reduce 26% 

14/08/10 19:55: mapred.JobClient: map 100% reduce 100% 


图 12-1 计算 pi 的 测试 结果 (部 分 截图 ) 


访问 Hadoop 提 供 的 管理 页 面 ，Map/Reduce 管 理 地 
hk: http://192.168.1.20: 50030/， 如 图 12-2 所 示 。 





SN2013-08-020 Hadoop Map/Reduce Administration 


State: RUNNING 

Started: Fri Aug 22 22:15:42 CST 2014 

Version: 1.2.1, r1503152 

Compiled: Mon Jul 22 15:23:09 PDT 2013 by mattf 
Identifier: 2014108222215 

SafeMode: OFF 


Cluster Summary (Heap Size is 7.31 MB/966. 69 MB) 

s Running Occupied | Occupied | Reserved | Reserved — 
Reduce = Map Reduce Map Reduce zi Task 
= x m 3 Slots € J VD. EM zc] 


图 12-2 aa FEAL Cuba) ek Al) 


HDFS 存 储 管理 地 址 : http://192.168.1.20: 50070/, 
如 图 12-3 所 示 。 


NameNode ' SN2013-08-020:9000' 


Started: Fri Aug 22 22:14:01 CST 2014 
Version: 1.2.1, r1503132 

Compi led: Mon Jul 22 15:23:09 PDT 2013 by mattf 
Upgrades: There are no upgrades in progress. 





Namenode Logs i 


Cluster Summary 


31 files and directories, 9 blocks = 40 total. Heap Size is 15.38 MB / 966.69 MB (1%) 

Configured Capacity : 8.56 GB 
DFS Used É 456 KB 
Non DFS Used - 764. 23 MB 
DFS Remaining : 1. 82 GB 
DFS Used* - 0.01 * 
DFS Remaining’ z 91.28 % 
Live Nodes 

Dead Nodes 


图 12-3 HDFS 管 理 界面 (部 分 截图 ) 





12.3 ”使 用 Python 编写 MapReduce 


Map 与 Reduce 为 两 个 独立 函数 ， 为 了 加 快 各 节点 的 
处 理 速 度 ， 使 用 并 行 的 计算 方式 ，map 运 算 的 结果 
再 由 reduce 继 续 进 行 合并 。 例 如 ， 要 统计 图 书馆 有 
多 少 本 书籍 ， 首 先 一 人 一 排 进 行 统计 Gmap) ， 其 
次 将 每 个 人 的 统计 结果 进行 汇总 (reduce) , m2 
得 出 总 数 。Hadoop 除 了 提供 原生 态 的 Java 来 编写 
MapReduce 任 务 ， 还 提供 了 其 他 语言 操作 的 API 
Hadoop Streaming， 它 通过 使 用 标准 的 输入 与 
输出 来 实现 map 与 reduce 之 前 传递 数据 ， 映 射 到 
Python 中 便 是 sys.stdin 输 入 数据 、sys.stdout 输 出 数 
据 。 其 他 业务 逻辑 也 直接 在 Python 中 编写 。 


下 面 实 现 一 个 统计 文本 文件 

(/home/test/hadoop/input.txt〉 中 所 有 单词 出 现 的 词 
频 功能 ， 分 别 使 用 原生 Python 与 框架 方式 来 编写 
mapreduce。 文 本 文件 内 容 如 下 : 


[/home/test/hadoop/input.txt ] 














foo foo quux labs foo bar quux abc bar see you by test 
welcome test 


abc labs foo me python hadoop ab ac bc bec python 


12.3.4. 用 原生 Python 编写 MapReduce 详 解 


(1) 编号 Map 代 码 


见 下 面 的 mapper.py 代 码 ， 它 会 从 标准 输入 (stdin) 
读 取 数据 ， 默 认 以 空格 分 割 单 词 ， 然 后 按 行 输出 单 
词 及 其 词 频 到 标准 输出 (stdout〉， 不 过 整个 Map 处 
理 过 程 并 不 会 统计 每 个 单词 出 现 的 总 次 数 ， 而 是 直 
接 输出 “word 1”， 以 便 作为 Reduce 的 输入 进行 统 

计 ， 要 求 mapper.py 有 具备 可 执行 权限 ， 执 行 
chmod+x/home/test/hadoop/mapper.py o 


[ /home/test/hadoop/mapper.py ] 





#! /usr/bin/env python 
import sys 

# 输 入 为 标准 输入 stdin; 

for line in sys.stdin: 


# 删 除开 头 和 结尾 的 空格 ; 





line = line.strip () 





# 以 默认 空格 分 隔行 单词 到 words 列 表 ; 
words = line.split © 


for word in words: 








# 输 出 所 有 单词 ， 格 式 为 “单词 ，1” 以 便 作为 Reduce 的 输入 ; 





print '%s\t%s' % (word, 1) 





(2) 编写 Reduce 代 码 


见 下 面 的 reducer.py 代 人 码 ， 它 会 从 标准 输入 Cstdin) 
读 取 mapper.py 的 结果 ， 然 后 统计 每 个 单词 出 现 的 总 
次 数 并 和 输出 到 标准 输出 〈stdout) ， 要 求 reducer.py 
同样 具备 可 执行 权限 ， 执 行 


chmod+x/home/test/hadoop/reducer.py . 


[/home/test/hadoop/reducer.py ] 





#! /usr/bin/env python 

from operator import itemgetter 
import sys 

current word - None 

current count = 0 

word = None 

# 获取 标准 输入 ， 即 mapper .py 的 输出 ; 
for line in sys.stdin: 


# 删 除开 头 和 结尾 的 空格 ; 





line = line.strip © 


# 解析 mapper .py 输出 作为 程序 的 输入 ， 以 tab 作 为 分 隔 符 ; 





word. count = line.split ('\t', 1D 
# 转换 count 从 字符 型 成 整 型 ; 
try: 
count = int (count) 
except ValueError: 


4 count 非 数字 时 ， 和 忽略 此 行 ; 


continue 


4 要 求 mapper ,py 的 输出 做 排序 Csorto 操作 ， 以 便 对 连续 的 word 做 判 











Wr; 
if current word -- word: 
current count += count 
else: 
if current word: 


* 输出 当前 word 统 计 结 果 到 标准 输出 





print '%s\t%s' 96 (current word. current count) 
current count - count 
current word - word 
# 输出 最 后 一 个 word 统 计 
if current word -- word: 


print '%s\t%s' % (current word. current count) 





(3) 测试 代码 


校 验 mapper py 与 LEER py 运行 n 十 果 是 否 
测试 结束 如 图 12-4 所 示 。 


测试 reducer.py 时 需要 对 mapper.py 的 输出 做 排序 
(sort) 操作 ， 当 然 ，Hadoop 环 境 会 自动 实现 排 
序 ， 如 图 12-5 所 示 。 


(4) 在 Hadoop 平 台 运 行 代码 





首先 在 HDFS 上 创建 文本 文件 存储 目录 ， 本 示例 中 


为 /user/root/word， 运 行 命令 : 





# /usr/local/hadoop-1.2.1/bin/hadoop dfs -mkdir 
/user/root/word 





上 传 文件 至 HDFS， 本 示例 中 

为 /home/test/hadoop/input.txt， 如 果 有 多 个 文件 ， 可 
采用 以 下 方法 进行 操作 ， 因 为 Hadoop 分 析 目 标 默认 
针对 目录 ， 目 录 下 的 文件 都 在 运算 范围 中 。 





# /usr/local/hadoop-1.2.1/bin/hadoop fs -put 
/home/test/hadoop/input.txt /user/root/word/ 


# /usr/local/hadoop-1.2.1/bin/hadoop dfs -ls 
/user/root/word/ 


Found 1 items 


-rw-r--r-- 2 root supergroup 118 2014-02-10 09: 49 
/user/root/word/input.txt 


| 


[rooteSN2013-08-020 hadoop]# cat input.txt l./mapper.py 
1 


1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
t 
1 
1 
1 
1 


[roote5N2013-08-020 hadoop]4 cat input.txt | ./mapper.py | sort -k1,1 | ./reducer.py 





Kl12-5 reducer 执 行 结果 


下 一 步 便 是 关键 的 执行 MapReduce 任 务 了 ， 输 出 结 
果 文 件 指定 /output/word， 执 行 以 下 命令 : 





# /usr/local/hadoop-1.2.1/bin/hadoop jar /usr/local/hadoop- 
1.2.1/contrib/streaming/hadoop-streaming-1.2.1.jar -file 
./mapper.py -mapper ./mapper.py -file ./reducer.py -reducer 
./reducer.py -input /user/root/word -output /output/word 





图 12-6 为 返回 的 执行 结果 ， 可 以 看 到 map 及 reduce 计 
算 的 百分比 进度 。 


[root&5N7013-08-070 hadoop /Zusr/Zlocab/hadoop-1.2. 1/binvhudoop jor /usr/local/hüdoop-1.2. 1/contrib/streuni nga/hadoop 
streaming-1 2.1. jar -file ./eanper.py -sapper ./sapper. py -file ./reducer.py -reducer ./reducer py nput /user/root/ 


word -output /output/word 
packageJobJar: [./mapper.py, ./reducer.py, /data/tmp/hadoop-root/haogüoop-un porS365959309 1 40058570/] O /tmp/stream jobs 
1424838332304003. jar tmpDi "-null 
14/08/10 22:50:09 INFO util.NativeCodeloader: Loaded the native-hodoop library 
408/10 22:50:09 WARN snappy.Loadsnapoy: Snappy native Library not looded 
LT 2:50:09 INTO mapred.fileInputformat: Total input paths to process : 1 
12:30:11 INFO streaming. Streamiob: getiocalDirs(): [/dota/tep/nacoop-root/sapred/ local ] 
72:50:11 INFO streaming.StreamJob: Running job: job_201488101951_ 0002 
2:50:11 INFO eming. Streaalod: To kill this job, run: 
50:11 INFO streaming. StreamJob: /usr/local/hadoop-1.2.1/libexec/../bin/hadoop job -Dmapred. job.tracker-1 
70:900] -kill 701498101951 Aaa? 
2:50:11 INFO streaming.StreamJob: Tracking URL: http://SN2@13-@8-@20:5005@/jobdetai ls. jsp? jobi d-job_ 2614081 


2:50:12 INFO streaming. Stroamjob: nap GN reduce O 

22:51:40 INFO streaming.StreamJob: nap SOR reduce 0A 

22°52: 34 INFO streaming re ob: map 104% reduce & 

22:52:38 INFO streaming.StreamJob: map 108% reduce 17X 

2:52:46 INFO 4 air A nb: map 18% ronco 100 

22:52:50 INFO : ng. : Job complete: job 20140816195] 0097 
22:52:50 INFO streaming. StreasJo0: Output: /output/worü 


图 12-6 ”执行 MapReduce 任 务 结 


访问 http://192.168.1.20: 50030/jobtracker.jsp， 点 击 
生成 的 Jobid， 查 看 mapreduce job 信息 ， 如 图 12-7 所 
ZIN o 





Fail Kill 
Task Attempts 


Kind % Complete Num Tasks Pending |Running Complete Killed 


100, 00% 


100. 00% 





Counter 


= 1? : y - 
File Input Forma Bytes Read 
Counters 


SLOTS MILLIS MAPS 
Launched reduce tasks 


Total time spent by ail reduces waiting after 
reserving slots (ms 


Jub Counters Tutal time spent by all enys wailing alle: 
reserving "alot s (ms) 





Launched map tasks 


Data local map tasks 


图 12-7 — (部 分 截图 ) 


查看 生成 的 分 析 结 果 文 件 清单 ， 
中 /output/word/part-00000 为 分 析 绢 RM 如 图 12- 


8 所 示 。 


[roote$N2013-08-020 hadoop]# /usr/local/hadoop-1.2.1/bin/hadoop dfs -ls /output/word 


Found 3 1tems 
-rWw-r--r-- 2 root supergroup 0 2014-98-10 22:52 /output/word/_SUCCESS 











drwxr-xr-x — - root supergroup 0 2014-08-10 22:50 /output/word/ logs 
rw-r--r 24 root supergroup 110 2014-08-10 22:52 /output/word/part 00000 
[root@SN7013-@8-828 hadoop]* 


图 12-8 ”任务 输出 文件 清音 





最 后 查看 结果 数据 ， 图 12-9 显 示 了 单词 个 数 统计 的 
结果 ， 整 个 分 析 过 程 结 


[rootesN2013 08-0929 hadoop]|4 /usr/local/hadoop-1.2.1/bin/hadoop dts -cot /output/word/part- 990900 
ab 





图 12-9 玛 看 结果 文件 part-00000 内 容 


提示 HDFS 第 用 操作 命令 有 : 
1) fit Ase, ANH: bin/hadoop dfs- 
mkdir/data/root/test. 


2) 列 出 目录 清单 ， 示 例 : bin/hadoop dfs- 
ls/data/root. 


3) 删除 文件 或 目录 ， 示 例 : bin/hadoop fs- 


rmr/data/root/test. 


4) 上 传 文件 ， 示 例 : bin/hadoop fs- 
put/home/test/hadoop/*.txt/data/root/test . 


5) 查看 文件 内 容 ， 示 例 : bin/hadoop dfs- 
cat/output/word/part-00000。 


12.3.2 HiMrjobfE 2229 5; MapReduce Tf fff 


Mrjob Chttp://pythonhosted.org/mrjob/index.html) 是 
— Mim 53 MapReducefF 25 B] JFURPythonfE A8, “ESE 
际 上 对 Hadoop Streaming 的 命令 行进 行 了 封装 ， 
此 接触 不 到 Hadoop 的 数据 流 命令 行 ， 使 我 们 可 以 更 
轻松 、 快 速 编号 MapReduce 任 务 。Mrjob 具 有 如 下 
特点 。 


1) FMS aH, map AXreduce rk BUH wt — Python x 
Aa n] UAE ; 


2) 支持 多 步骤 的 MapReduce 任 务工 作 流 ; 


3) 文 持 多 种 运行 方式 ， 包 括 内 髓 方式 、 本 地 坏 
5$. Hadoop, FEW Sih; 


A) KRES bod 28 BH 7) HT AK Elastic 
MapReduce (EMR) ; 


5) 调试 方便 ， 无 须 任 何 环境 文 持 。 


安装 Mrjob 要 求 环 境 为 Python 2.5 及 以 上 版 本 ， 源 码 
下 载 地 址 : https://github.com/yelp/mrjob。 








4 pip install mrjob #PyPI 安 装 方式 


# python setup.py install # 源 码 安装 方式 





回 到 实现 一 个 统计 文本 文件 

(/home/test/hadoop/input.txt) 中 所 有 单词 出 现 的 词 
频 功 能 ，Mrjob 通 过 mapper ©) reducer () 方法 
实现 了 MR 操 作 ， 实 现代 码 如 下 : 


[/home/test/hadoop/word . count.py ] 





from mrjob.job import MRJob 
class MRWordCounter (MRJob) : 
def mapper (self, key, line): 
for word in line.split () : 
yield word. 1 
def reducer (self, word, occurrences) : 
yield word, sum (occurrences) 
if _name__ == ' main ': 


MRWordCounter.run ©) 





uf UA HIS TTA EA Python i')1/3, 32 48:8, E 
Piatt, fXRHUELTT f mapper. reducer i. 
mapper 函 数 接收 每 一 行 的 输入 数据 ， 处 理 后 返回 一 
对 key: value， 初 始 化 value 为 数据 1; reducer 接 收 
mapper 输 出 的 key-value 对 进行 整合 ， 把 相同 key 的 
value 作 累加 (sum) 操作 后 输出 。Mrjob 利 用 Python 
的 yield 机 制 将 函数 变 成 一 个 Generators CAE Ek 

48) ， 通 过 不 断 调用 next〈) 去 实现 key-value 的 初 


始 化 或 运算 操作 。 前 面 介 绍 Mrjob 文 持 四 种 运行 方 
tlh, GGA Re Crinline) 、 本 地 C-r local) ~ 
Hadoop (-rhadoop) ~ Amazon EMR (-remr) ， 
下 面 主 要 介绍 前 三 者 的 运行 方式 。 

(1) Af (-rinline) 方式 

特点 是 调试 方便 ， 局 动 单 一 进程 模拟 任务 执行 状态 
KÆR, WA Crinline) 可 以 省 略 ， 输 出 文件 使 


用 “>output-file” 或 “-o output-file”。 下 面 两 条 命令 是 
等 价 的 : 








# python word_count ,py -r inline input.txt >output.txt 


# python word count.py input.txt -o output.txt 





输出 文件 output.txt 内 容 见 图 12-10。 


[rooteSN2013-08-020 hadoop]f cat output. txt 


ab 1 





图 12-10 ”查看 输出 output.txt 文 件 内 容 
(2) ASHE (-rlocal) 方式 


FAT AHR Hadoopiiin, Atk Cinline) 方式 
的 区 别 是 局 动 了 多 进程 执行 每 一 个 任务 ， 如 : 





# python word count.py -r local input.txt »output.txt 





执行 的 结果 与 inline 一 样 ， 只 是 运行 过 程 存 在 差异 。 
(3) Hadoop (-rhadoop) 方式 


Hid HadoopMEi, s f#HadoopiZ íT BE 
数 , 如 M 


.指定 Hadoop 任 务 调度 优先 级 
(VERY HIGH|HIGH) , H, --jobconf 
mapreduce.job.priorityz VERY HIGH. 


-Map 及 Reduce 任 务 个 数 限 制 ， 如 ，--jobconf 
mapred.map.tasks=10--jobconf 
mapred.reduce.tasks-5. 


注意 ， 执 行 之 前 需要 指定 Hadoop 环 境 变 量 ， 执 行 结 
果 见 图 12-11。 

访问 http://192.168.1.20: 50030/jobtracker.jsp， 显 示 
的 最 后 一 行 便 是 任务 执行 的 信息 ， 从 中 可 以 看 到 任 
务 的 优先 级 、map 及 reduce 的 总 数 ， 如 图 12-12 所 
示 。 

查看 Hadoop 分 析 结 果 文 件 ， 内 容 见 图 12-13。 


Mrjob 框 以 的 介绍 各 一 段落 ， 下 一 节 重 点 以 实际 乏 
例 进行 说 明 。 








m 


[roote5N2011-08-878 hodoop]f export HADO0P HOMF-/usr/locol/hadoon-1.7.1 
[root@Sn2013-@8-228 hodoop]4 python word_count.py -r hades jobconf mapreduce . job. priori ty VERY HIGH jobconf sapr 
fap. tasks jJobcon? sapred. reduce. tasks o s:///output/hacoop word hofs /user/root/word 
figs found; falling back on auto cont 

no configs found; falling back on aute-configuration 
creatin directory /tmp/word count.root. 20140810. 158905. 175991 
writing wrapper script to /tnp/word count ot . 20140810. 1509605 . 175 /setup-wrapper . sh 
Copying local files into hdfs:///user/root/tap/tr job/word, count . root . 201410810. 150995. 175991/f1105s/ 
Using Hodoop version 1.2.1 
Detected hodoop configurution property names thot do not motch hodoop vers 
he have been t slated as follows 
nopreduce.job.oriority: mapred.job.priority 
HAL W ing: S4ADOOP HOME is deprecated 
HADOOP 
HADOOP: packageJobJar: [/data/tmp/haóocp root/hodoop un ]jart/ 1954004495 /38/] 1] /tnp/strema job4692 3955956665699043/ . 
jar tepo1rs«null 
HADOOP: Loaded the native-hodoop Library 

Snappy native library not looded 

otal input paths to process 1 

getLocalbirs(): [/data/tmp/hodoop-roct /sapred/1 ocal 
HADOOP: Running job: job 201406101951 0003 
HADOOP o kill this job, run 
HADOOP: /usr/loc adoop-1.2.1/libexec/. ./bin/ha« job -Dmopred. job. tracker«192. 16 :9001 -kill job 201498181) 
951 P603 
HADOOP: Trocking URL: http: //$SN2913-08 029 : 52032/ jobdetatis.]sp?jobid-job 281408181951 0903 
HADOOP: nop (X reduce & 
HADOOP: nop 5@% reduce e 
HADOOP. nop 100€ reduce Of 


图 12-11 任务 执行 结果 (部 分 截图 ) 


Completed Jobs 
Maps Reduce % 
Complete | Total Completed | Complete 


Joh 201403222212. 0001 | 55 N > tremsjob4197548037759856201. Jar | 100. 00% | e pa 








stream $ob6940665809234579884. jar | 100.00% |3 e jae 


图 12-12 已 完成 任务 清单 〈 部 分 截图 ) 





[roote5N2013-08-028 hadoop]# /usr/Local/hadoop-1.2.1/bin/hadoop dfs -cat /output/hadoop word/part-0e0000 


"ab* 


"foo" 
"hadoop" 
“Labs” 


B » 


ne 


"python" 
"quux" 
"see" 
"test" 


"welcone* 
"you" 1 





图 12-13 ”查看 任务 结果 文件 内 容 


12.4 实战 分 析 


在 互联 网 企业 中 ， 随 着 业务 量 、 访 问 量 的 不 断 增 
长 ， 用 户 产 生 的 数据 也 越 来 越 大 ， 如 何 处 理 大 数据 
的 存储 与 分 析 问 题 呢 ? 比如 Web 服 务 器 的 访问 log， 
当日 志 只 有 GB 单 位 大 小 时 ， 我 们 还 可 以 揭 强 通过 
shell 、awk 进 行 分 析 ， 当 达到 上 百 GB， 甚 至 上 PB 级 
别 时 ， 通 过 脚本 的 方式 已 经 力不从心 了 。 另 外 一 个 
等 解 决 的 问题 束 是 数据 存储 。Hadoop 很 好 地 解决 了 
这 两 个 问题 ， 即 分 布 式 存储 与 计算 。 下 面 将 通过 示 
例 介 绍 如 何 从 Web 日 志 中 快速 获取 访问 流量 、 
HTTP 状 态 信息 、 有 用户 了 信息、 连接 数 /分 钟 统计 


A 入 
等 。 








12.4.1 示例 场景 


站 点 www.website.com 共 有 5 台 Web 设 备 ， 日 志文 件 
存放 位 置 : /data/logs/ 日 期 

(20140215) /access.log， 日 志 为 默认 的 Apache 定 
义 格 式 ， 如 : 





125.26.28.8 - - [01/Aug/2010: 09: 56: 53 +0700] "GET 
/teacher/jitra/image/pen.gif HTTP/1.1" 200 12014 

"http: //www.kpsw.ac.th/teacher/jitra/page4.htm" "Mozilla/4.0 
(compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; 

GTB6.5; InfoPath.1; .NET CLR 2.0.50727; yie8) " 


125.26.28.8 - - [01/Aug/2010: 09: 56: 53 +0700] "GET 
/favicon.ico HTTP/1.1" 200 1187 "-" "Mozilla/4.0 
(compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; 


GTB6.5; InfoPath.1; ,NETCLR 2.0.50727; yie8) " 


66.249.65.37 - - [01/Aug/2010: 09: 57: 59 +0700] "GET 
/picture/49-02/DSC02630.jpg HTTP/1.1" 200 79220 "-" 
"Googlebot-Image/1.0" 


66.249.65.37 - - [01/Aug/2010: 09: 59: 19 +0700] "GET 

/elearning/index.php? cal m-2&cal y-2011 HTTP/1.1" 200 9232 
' "Mozilla/5.0 (compatible; Googlebot/2.1; 

*http: //www.google.com/bot.html) " 





共有 12 列 数据 (空格 分 E » DAA OXF im 
IP; QA GLHSRAPM) ; OA CAEN 
EHP) ; OREI; DUTCH Zu OF: © 


Vs; OM; Qi; WKRIEF TAY (m 


问 来 源 ; 02) «met 〈 不 具体 拆 分 ) 。 


接 下 来 在 5 台 Web 服 务 器 部 署 HDFS 的 客户 病 ， 以 便 
定期 上 传 Web 日 志 到 HDFS 存 储 平台 ， 最 终 实 现 分 
布 式 计算 。 需 要 安装 (JDK 配 置 环 境 变量 ) 

Hadoop《〈 原 版 tar 包 解析 即 可 ) ， 详 细 见 12.2 相 关内 
容 。 添 加 上 传 日 志 功 能 作业 到 crontab， 内 容 如 下 : 





55 23 * * * /usr/bin/python /home/test/hadoop/hdfsput.py >> 
/dev/null 2>&1 





3 id subprocess. Popen O 方法 调 用 Hadoop HDFS 相 
关外 部 命令 ， 实 现 创 建 HDFS 目 录 及 客户 端 文 件 上 
传 ， 详细 代码 如 下 : 





[/home/test/hadoop/hdfsput.py ] 





import subprocess 
import sys 
import datetime 


webid-"webi"  #HDFS 存 储 日 志 标 志 ， 其 他 Web 服 务 器 分 别 为 web2、web3、 
web4、web5 


currdate-datetime.datetime.now () .strftime ('%Y%m%d' 2 
logspath="/data/logs/"+currdate+"/access.log"  £ZH;E PETS 
logname="access.log."+webid  #HDFS 存 储 日 志 名 
try: 

subprocess.Popen (["/usr/local/hadoop-1.2.1/bin/hadoop", 
"dfs", "-mkdir", "hdfs: //192.168.1.20: 


9000/user/root/website.com/"+currdate], 
stdout=subprocess.PIPE) 





# 创 建 HDFS 目 录 ， 目 录 格 式 : website.com/20140205 
except Exception. e: 

pass 
putinfo=subprocess.Popen (["/usr/local/hadoop- 
1.2.1/bin/hadoop", "dfs", "-put", logspath, 
"hdfs: //192.168.1.20: 
9000/user/root/website.com/"+currdatet+"/"+logname], 
stdout-subprocess.PIPE) ， # 上 传 本 地 日 志 到 HDFS 


for line in putinfo.stdout: 


print line 





在 crontab 定 时 作业 运行 后 ，5 台 Web 服 务 器 的 日 志 
在 HDFS 上 的 信息 如 下 : 


y Y 


# /usr/local/hadoop-1.2.1/bin/hadoop dfs -1s 
/user/root/website.com/20140215 


Found 5 items 


-rw-r--r-- 3 root supergroup 156541746 2014-02-15 23: 55 
/user/root/website.com/20140215/access.log.webi 


-rw-r--r-- 3 root supergroup 251245315 2014-02-15 23: 53 
/user/root/website.com/20140215/access.log.web2 


-rw-r--r-- 3 root supergroup 134256412 2014-02-15 23: 55 
/user/root/website.com/20140215/access.log.web3 


-rw-r--r-- 3 root supergroup 192314554 2014-02-15 23: 54 
/user/root/website.com/20140215/access.log.web4 


-rw-r--r-- 3 root supergroup 183267834 2014-02-15 23: 55 
/user/root/website.com/20140215/access.log.web5 





WEAR, Xue AVE OAE TN. Be POKHU 
工作 便 是 分 析 了 。 


12.4.2 ”网 站 访问 流量 统计 


网 站 访问 流量 作为 衡量 一 个 站 点 的 价值 、 热 度 的 重 
要 标准 ， 另 外 在 CDN 服 务 中 流量 会 涉及 计 费 ， 如 何 
快速 准确 分 析 当 前 站 点 的 流量 数据 至 关 重 要 ， 当 
然 ， 使 用 Mrjob 可 以 很 轻松 实现 此 类 需求 。 下 面 实 
现 精 确 到 分 钟 统计 网 站 访问 流量 ， 原 理 是 在 mapper 
操作 时 将 Web 日 志 中 小 时 的 每 分 钟 作 为 key， 将 对 
应 的 行 发 送 字 节 数 作为 value， 在 reducer 操 作 时 对 相 
FilkeyfE AUD (sum) 统计 ， 详 细 源 人 码 如 下 : 





[/home/test/hadoop/httpflow.py ] 





from mrjob.job import MRJob 
import re 
class MRCounter (MRJob) : 
def mapper (self, key, line): 
i=0 


for flow in line.split ©: 





if i==3: ， # 获 取 时 间 字 段 ， 位 于 日 志 的 第 4 列 ， 内 容 
tu” [06/Aug/2010: 03: 19: 44” 


timerow- flow.split (": ") 


hm=timerow[1]+": "+timerow[2] # 获 取 “ 小 时 : 分 
钟 “， 作 为 key 


if i--9 and re.match (r"\d{1, }", flow): «XH 
日 志 第 10 列 - 发 送 的 字 节 数 ， 


作为 value 
yield hm, int (flow)  # 初 始 化 key: value 
i+=1 
def reducer (self, key, occurrences) : 


yield key, sum (occurrences)  # 相 同 key“ 小 时 : 分 钟 ”的 
value 作 累加 操作 


if | name == ' main _': 


MRCounter.run (©) 





生成 Hadoop 任 务 ， 运 行 : 





# python /home/test/hadoop/httpflow.py -r hadoop --jobconf 
mapreduce.job.priority-VERY HIGH -o hdfs: ///output/httpflow 
hdfs: ///user/root/website.com/20140215 





分 析 结 果 见 图 12-14。 


[rooteSN2013-08-070 ~}# /usr/local/haóoop-1.2.1/bin/hadoop dfs -cat /output/nttpflow/part-00000 
"00:00" 4731254 


" 4557274 


2" 443708 
"00:03" 2922156 


:08" 24843600 

uL EL 

" 5800532 
”1343297 
0:12" 430592 
"00:13" 3691867 


图 12-14 任务 分 析 结 果 “〈 部 分 截图 ) 


建议 将 分 析 结 果 数 据 定 期 入 库 MySQL， 利 用 
MYVySQL 灵 活 、 丰 富 的 SQL 支持 ， 可 以 很 方便 地 对 数 
据 进 行 加 工 ， 轻 松 输出 比较 美观 的 数据 报表 。 图 
12-15 为 网 站 一 天 的 流量 趋势 图 。 











| | 
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412-15 ”业务 流量 趋势 网 
12.4.3 网 站 HTTP 状 态 码 统计 


统计 一 个 网 站 的 HITP 状 态 码 比例 数据 ， 可 以 帮助 
我 们 了 解 网 站 的 可 用 度 及 健康 状态 ， 比 如 我 们 关注 


的 200、404、5xx 状 态 等 。 在 此 示例 中 我 们 利用 
Mrjob 的 多 步调 用 的 形式 来 实现 ， 除 了 基本 的 


mapper、reducer 方 法 外 ， 还 可 以 添加 自 定义 处 理 方 


法 ， 在 steps 中 添加 调用 即 可 ， 详 细 源 码 如 下 : 
[/home/test/hadoop/httpstatus.py ] 





from mrjob.job import MRJob 
import re 
class MRCounter (MRJob) : 
def mapper (self, key, line): 
i-0 


for httpcode in line.split () : 


i--8 and re.match (r"\d{1, 3)", httpcode) : # 


获取 日 志 中 HTTPRRASIDBE, 作为 key 


yield httpcode， 1 # 初 始 化 key: value，value 计 数 





为 1， 方 便 reducer 作 累加 
i+=1 


def reducer (self, httpcode, occurrences) : 


yield httpcode, sum (occurrences)  # 对 排序 后 的 key 对 应 


ve me 


def steps (self): 


return [self.mr (mapper=self.mapper) ,  #fEsteps7 ye 
添加 调用 队列 


self.mr (reducer=self.reducer) ] 
if | name == ' main ': 


MRCounter.run () 








生成 hadoop 任 务 ， 分 析 数 据 源 保持 不 变 ， 输 出 目录 
改 成 /outputhttpstatus， 执 行 : 





# python /home/test/hadoop/httpstatus.py -r hadoop --jobconf 
mapreduce.job.priority-VERY HIGH -0 

hdfs: ///output/httpstatus 

hdfs: ///user/root/website.com/20140215 


_ TS | 


分 析 结 果 见 图 12-16。 


[root@Sh2613-68-020 ~]# /usr/local/hadoop-1.2.1/bin/hodoop dfs -cot /output/httpstatus/part 00000 


200" 412334 
spas 
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"302" 
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"416" 
"501" 
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图 12-16 ”任务 分 析 结 果 


我 们 可 以 根据 结果 数据 输出 比例 饼 图 ， 如 图 12-17 
FITAR o 





图 12-17 生成 HTTP 状 态 码 饼 图 


12.4.4 网 站 分 钟 级 请 求 数 统计 


一 个 网 站 的 请 求 量 大 小 ， 直 接 关 系 到 网 站 的 访问 质 
量 ， 非 常 有 必要 对 该 数据 进行 分 析 且 关注 。 本 示例 
以 分 钟 为 单位 对 网 站 的 访问 数 进 行 统 计 ， 原 理 与 
12.4.2 类 似 ， 区 别 是 value 初 始 为 1， 以 便 作 累加 统 
计 ， 详 细 源 码 如 下 : 


[/home/test/hadoop/http minute conn.py ] 


from mrjob.job import MRJob 
import re 
class MRCounter CMRJob : 


def mapper (self, key, line): 


i-0 


for dt in line.split ©): 





if i--3: # 获 取 时 间 字 段 ， 位 于 日 志 的 第 4 列 ， 内 容 
如 “[06/Aug/2010: 03: 19: 44” 


timerow- dt.split (": ") 


hm=timerow[1]+": "+timerow[2] # 获 取 “ 小 时 : 分 
钟 ”， 作 为 key 


yield hm, 1 # 初 始 化 key: value，value 计 数 为 1， 





方便 reducer 作 累加 
i+=1 
def reducer (self, key, occurrences) : 
yield key, sum (occurrences) 
if name == ' main ': 


MRCounter.run (©) 





生成 Hadoop 任 务 ， 输 出 目 
录 /output/http_minute_conn， 执 行 : 





# python /home/test/hadoop/http minute conn.py -r hadoop -- 
jobconf mapreduce.job.priority-VERY HIGH -0 

hdfs: ///output/http minute conn 

hdfs: ///user/root/website.com/20140215 


——— M————————Y 


分 析 结 果 见 图 12-18。 


[rootéSN2013-08-020 ~] /usr/local/hadoop-1.2.1/bin/hadoop dfs -cat /output/http minute conn/part -00000 
"00:00 





图 12-18 ”任务 分 析 结 果 ( 部 分 截图 ) 
12.45 ”网 站 访问 来 源 IP 统 计 
统计 用 户 的 访问 来 源 IP 可 以 更 好 地 了 解 网 站 的 用 户 
分 布 ， 同 时 也 可 以 帮助 安全 人 员 捕 捉 攻 击 来 源 。 实 
现 原 理 是 定义 逻 配 IP 正 则 字符 串 作为 key， 将 value 
初始 化 为 1， 执 行 reducer 操 作 时 作 累 加 (sum) 统 
计 ， 详 细 源 码 如 下 : 


[/home/test/hadoop/ipstat.py ] 








from mrjob.job import MRJob 
import re 


IP RE = re.compile (r"Nd(1, 3}\.\d{1, 3}\.\d{4, 3). Nd(1, 
39") # 定 义 IP 正 则 匹配 


class MRCounter (MRJob) : 
def mapper (self, key, line): 
# 匹 配 IP 正 则 后 生成 key: value， 其 中 key 为 IP 地 址 ，value 初 始 值 为 


for ip in IP RE.findall (line) : 


yield ip. 1 
def reducer (self, ip, occurrences) : 
yield ip, sum (occurrences) 
if _name__ == ' main ': 


MRCounter.run () 





生成 Hadoop 任 务 ， 输 出 目录 /output/ipstat， 执 行 : 





# python /home/test/hadoop/ipstat.py -r hadoop --jobconf 
mapreduce.job.priority-VERY HIGH -o hdfs: ///output/ipstat 
hdfs: ///user/root/website.com/20140215 


—_—_———~—~— ee 


分 析 结 果 见 图 12-19。 


BSN2013-08-0920 ~]# /usr/local/hadoop-1.2.1/bin/hadoop dfs -cat /output/ipstat/part -00000 
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图 12-19 ”任务 分 析 结 果 (部 分 截图 ) 
12.4.6 ”网 站 文件 访问 统计 
通过 统计 网 站 文件 的 访问 次 数 可 以 帮助 运 维 人 员 了 


解 访 问 最 集中 的 文件 ， 以 便 进 行 有 针对 性 的 优化 ， 
比如 调整 静态 文件 过 期 策略 、 优 化 动态 cgi 的 执行 速 
上 度 、 拆 分 业务 逻辑 等 。 实 现 原 理 是 将 访问 文件 作为 
key， 人 初始 化 value 为 1， 执 行 reducer 时 作 累 加 

(sum) 统计 ， 详 细 源 人 码 如 下 : 


[/home/test/hadoop/httpfile.py ] 





from mrjob.job import MRJob 
import re 
class MRCounter (MRJob) : 
def mapper (self, key, line): 
i=0 
for url in line.split ©: 
if i==6: # 获 取 日 志 中 URL 文 件 资源 字段 ， 作 为 key 
yield url. 1 
i+=1 
def reducer (self, url, occurrences) : 
yield url, sum (occurrences) 
if _ name__— == ' main . 


MRCounter.run (©) 





执行 结果 如 图 12-20 所 示 。 


"/Image/ginfol.gif" 

"/Image/help.gif" 

"/Image/iconnew. gif" 
"/Image/1information. jpg" 
"/Image/lLeft_botm. gif" 

"/Image/1line.gif” 

|"/Image/1Link. jpg" 

"/Image/logoamphoe. gif" 
"/Image/nayok. jpg" 

"/Image/new .gif" 

"/Image/pub18 . gif" 

"/Image/right botm.gif" 154 
"/Images/logoweb 01.gif" 2 
"/Information/form_Information@1. php" 6 
"/Information/form_Information®2.php" 5 


图 12-20 ”任务 分 析 结 果 〈 部 分 截图 ) 


同 理 ， 我 们 可 以 使 用 以 上 方法 对 User-Agent 域 进行 
分 析 ， 包 括 浏览 器 类 型 及 版 本 、 操 作 系 统 及 版 本 、 
^ a 内 核 等 信息 ， 为 更 好 地 提升 用 户 体验 提供 数 
E SLAF o 


Q... 12.2.1/ JB ^EPythonZgs 57 


mapreduce7p f/l ZF http://www.michael- 
noll.com/tutorials/writing-an-hadoop-mapreduce- 
program-in-python/. 
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第 13 章 ”从 零 开 始 打 造 B/S 上 自动 化 运 维 平 台 


随 腹 企业 业务 的 不 断 发 展 ， 在 运营 方面 ， 如 何 保障 
业务 的 高 可 用 及 服务 质量 ， 系 统管 理 员 将 面临 越 来 
越 多 的 挑战 。 目 前 ， 很 多 企业 还 处 在 传统 的 “ 半 目 

动 化 ”状态 ， 一 旦 出 现 运 维 事 故 ， 技 术 部 的 每 个 人 
都 会 加 入 “救火 ”行列 ， 最 后 弄 得 疲惫 人 不堪 。 因 此 ， 

构建 高 效 的 运营 模 陈 已 迫在眉睫 ， 可 以 从 以 下 几 个 
方面 入 手 ， 包 括 定制 符合 企业 特点 的 I 制 度 、 流 程 
规范 、 质 量 与 成 本 管理 、 运 营 效率 建设 等 。 本 章 将 
介绍 如 何 使 用 Python 从 零 开始 打造 一 个 吻 用 、 扩 展 
性 强 、 安 全 、 高 效 的 目 动 化 运 维 平 侣 ， 从 而 提高 运 
营 人 员 的 工作 效率 。 








13.1 平台 功能 介绍 


作为 ITIL 体 系 当 中 的 一 部 分 ， 本 平台 同样 遵循 ITIL 
标准 设计 规范 。OMServer 是 本 平台 的 名 称 ， 后 面 的 
内 容 将 使 用 它 作 为 平台 的 称号 。OMServer 实 现 了 一 
个 集中 式 的 Linux 集 群 管理 基础 平台 ， 提 供 了 模块 
E pe 可 以 随意 添加 集群 操作 任务 模块 ， = 
端 模块 支持 前 端 HITML 表 单 参 数 动 态 定制 ， 
日 常 运 维 远程 操作 、 文 件 分 发 等 任务 ; 
安全 方面 ， 7 FAL (RC4 算 法 ) 指令 传输 、 操 作 
志 记 录 、 分 离 Web Server 与 主 控 设 备 等 ， 在 效率 
方面 ， 管理 员 内 只 需 选 择 操作 目标 对 象 及 操作 模块 即 
可 完成 一 个 现 网 变更 任务 。 另 外 ， 在 用 户 体 验方 
面 ， 采 用 前 端 异步 请 求 ， 模拟 Linux 终 ? 前 效果 接收 
返回 串 。 任 何人 都 可 以 根据 自身 的 业务 特点 对 
OMServer 平 台 进 行 扩 展 ， 比 如 与 现 有 资产 平台 进行 
对 接 ， 或 整合 到 现 有 的 运营 平台 当中 。 平 台 首 页 如 
图 13-1 所 示 。 
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图 13-1 FRA AA 


13.2 系统 构架 设计 


OMServer 平 台 末 用 了 三 层 设 计 模 式 ， 第 一 层 为 Web 
交互 层 ， 采 用 了 Django+prototype.jS+MySQL 实 现 ， 
服务 需 疹 采用 了 Nginx+uwsgi 构 建 高 效 的 Web 服 

4: 第 二 层 为 分 布 式 计算 层 ， 采 用 rpyc 分 布 式 计算 
框架 实现 ， 作 为 第 一 层 与 第 三 层 的 数据 交互 及 实现 
主 控 并 物理 分 离 ， 提 高 整体 安全 性 ， 同 时 具备 第 三 
层 的 多 机 服务 的 能 力 ; 第 三 层 为 集群 主 控 端 服务 
层 ， 文 持 Saltstack、Ansible、Func 等 平台 。 上 有 具体 见 
如 图 13-2 所 示 的 系统 架构 图 。 
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图 13-2 ”系统 架构 图 


从 图 13-2 可 以 看 出 系统 的 三 个 层次 ， 首 先 管理 员 癌 
OMServer 平 台所 在 Web 服 务 器 发 起 HTTP 请 求 ， 
OMServer 接 收 HTTP POST 的 数据 并 采 

用 “RC4+b64encode+ 密 钥 key” 进 行 加 密 ， 再 作为 
rpyc 客 户 端 问 rpyc 服 务 咒 发送 加 密 指 令 串 ，rpyc 服 





务 器 端 同 时 也 是 Saltstack、Ansible、EFunc 等 的 主 控 
端 ， 主 控 端 将 接收 到 的 数据 通 

过 “RC4+b64decode+ 密 钥 key” 进 行 解密 ， 解 析 成 
OMServer 调 用 的 任务 模块 ， 结 合 Saltstack、Ansible 
或 Func 回 目标 业务 服务 喜 集 群发 送 执行 任务 ， 执 行 
完毕 后 ， 将 返回 的 执行 结果 加 解密 处 理 ， 最 后 逐 级 
Ana ， 整 个 任务 模块 分 发 执行 流程 结 


13.3 数据库 结构 设计 
13.3.1 数据 库 分 析 


OMServer 平 台 采 用 了 开源 数据 库 MySQL 作 为 数据 
存储 ， 将 数据 库 全 名 为 OMServer， 该 数据 库 总 共有 
4 张 表 ， 表 信息 说 明 如 下 。 


'server fun categ: 服务 功能 分 类 表 。 
server app categ: 服务 应 用 分 类 表 。 
'Server_list: 服务 器 列表 。 

module list: 模块 列表 。 

13.3.2 ”数据 字典 


server_fun_categ 服 务 功能 分 类 表 。 


数据 类 型 允许 非 空 自动 递增 i 
| map | | No | 是 jJ eD 





server_list 服 务 器 列表 。 


E 
Coa Tv | — — ear 





数据 类 型 允许 非 空 备注 
i | | NO A pul ID 号 
pum 94 FR 

异 块 功能 描述 


EUR MMD E 





13.3.3 ”数据 库 模 型 


在 ITIL 体 系 中 有 一 种 比较 典型 的 资产 定义 方法 ， 即 
采用 “功能 分 类 ”作为 根 类 ， 其 子 类 为 “应 用 分 类 ”， 
在 最 小 单位 的 “服务 器 ”中 指定 “应 用 分 类 ”进行 天 
联 ， 完 成 其 层次 关系 的 定义 ， 例 如 ， 

Linux.Web (一 级 功能 类 别 ) ，bbs.domain.com (二 
级 应 用 类 别 ) ，10.11.100.10( 服 务 器 归 
bbs.domain.com 类 列 ) ， 详 见 图 13-3 所 示 的 数据 库 
模型 图 。 





* ID INT(11) 
'* module name CHAR(20) 






? 1D INT(11) 
"server categ name CHAR(20) 
* module caption CHAR(255) 7 ER 
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" server name CHAR(13) 


"server wip CHAR(15) 


9 server lip CHAR(12) 一 一 一 一 了 * ID INT(11) 


9 server op CHAR(10) l — — — H- * server _categ_id INT(11) 


server app id INT(1D) *&pp categ name CHAR(30) 
> > 


13-3 ”数据 库 模 型 


从 模型 天 系 图 中 可 以 看 出 ，server_list 表 中 的 
server_app_id 字 上 段 被 设置 为 外 键 ， 与 
Server_app_categ 表 中 的 ID 字段 进行 天 联 ; 
server_app_categ 表 中 的 server_categ_id 字 上 段 被 设置 
Z 外 键 ， 与 server_fun_categ 表 中 的 ID 字段 进行 关 
EK 0 












13.4 AAMAS 
13.4.1 系统 环境 说 明 


OMServer 玉 用 Django-1.4.9、nginx-1.5.9、uwsgi- 

2.0.4、irpyc-3.2.3 等 开源 组 件 来 构建 。 为 了 便于 谈 者 

理解 ， 下 面 对 平 台 的 运行 环境 、 安 装 部 署 、 开 发 环 

Imm 环境 设备 角色 表 如 表 13-1 
ZN o 








4213-1 系统 环境 说 明 表 





13.4.2 ”系统 平台 搭建 
OMServer 平 台 涉 及 两 个 角色 ， 其 中 一 个 为 Web 服 务 
端 ， 运 行 Django 及 rpyc 环 境 ， 另 一 角色 为 主 控 端 ， 
需要 部 署 Saltstack、Ansible 或 Func 主 控 端 环境 ， 可 
参与 本 书 第 9~11 章 内容， 本 市 不 予 详细 介绍 。 为 外 
同样 需要 部 普 rpyc 环 境 。 


(1) Django 环 境 部 署 


本 示例 部 署 主 机 为 192.168.1.10 (SN2012-07- 
010) 。 





# cd /home 


# mkdir -p /home/install/Django && cd 
/home/install/Django # 创 建安 装 包 目录 








4 mkdir -p /data/logs/ # 创 建 uwsgi 日 志 目 录 





1) 安 壮 pcre。pcre 是 一 个 轻 量 级 的 正则 表达 式 疯 数 
库 ，Nginx 的 HTTP Rewrite 模 块 会 用 到 ， 最 新 版 本 
为 8.34〈 对 于 OMServer 平 台 环境 来 说 非 必 选 项 ) 。 





和 
8.34.tar.gz 

# tar -zxvf pcre-8.34.tar.gz 

# cd pcre-8.34 

#./configure 


# make && make install 


# cd .. 





2) 安装 Nginx。Nginx 是 最 流行 的 高 性 能 HTTP 服 务 
器 ， 最 新 版 本 为 1.5.9。 





# wget http: //nginx.org/download/nginx-1.5.9.tar.gz 
# tar -zxvf nginx-1.5.9.tar.gz 

# cd nginx-1.5.9 

#./configure --user=nobody --group=nobody -- 


prefix=/usr/local/nginx --with-http_stub_status_module -- 
with-cc-opt='-03' --with-cpu-opt=opteron 


# make && make install 


# cd .. 





3) 安装 MySQL-python。MVySQL-python 是 Python 访 
问 MySQL 数 据 库 的 第 三 方 模块 库 ， 最 新 版 本 为 
1.2.3c1. 





# yum install -y MySQL-python #yum 安 装 方式 


# wget http: //nchc.dl.sourceforge.net/project/mysql - 
python/mysql-python/1.2.2/ 


4 tar -zxvf MySQL-python-1.2.2.tar.gz # 源 码 安 装 方 式 
# cd MySQL-python-1.2.2 
# python setup.py install 


# cd .. 





4) 安装 uUwsgi。uwsgi 是 一 个 快速 的 、 纯 C 语 言 开 发 
的 、 目 维护 、 对 开 友 者 友好 的 WSGI 服 务 器 ， 则 在 
提供 专业 的 Python Web 应 用 发 布 和 开发 功能 ， 最 新 
版 本 为 2.0.4。 





# wget http: //projects.unbit.it/downloads/uwsgi-2.0.4.tar.gz 
# tar -zxvf uwsgi-2.0.4.tar.gz 

# cd uwsgi-2.0.4 

# make 


# cp uwsgi /usr/bin 


# cd .. 





5) 安装 Django。Django 是 一 个 Python 最 流行 的 开源 
Web 开 发 框架 ， 最 新 版 本 为 1.6.5。 考 处 到 莱 容 与 稳 
定性 ， 本 示例 使 用 1.4.9 版 本 进行 开发 。 














wget https: //www.djangoproject.com/m/releases/1.4/Django- 
.4.9.tar.gz 


Hd 


# tar -zxvf Django-1.4.9.tar.gz 
# cd Django-1.4.9 


# python setup.py install 





6) 配置 Nginx。 修 
改 /usYlocalnginx/confmnginx.conf， 添 加 以 下 server 
域 配置 : 


server ( 

listen 80; 

server name omserver.domain.com; 

location / ( 
uwsgi pass 192.168.1.10: 9000; 
include uwsgi params; 
uwsgi param UWSGI CHDIR /data/www/OMserverweb; 
uwsgi param UWSGI SCRIPT django_wsgi; 


access log off; 


} 
location ^- /static { 
root /data/www/OMserverweb; 


j 


location -* 4.+\. 
K(npg|[avi|mp3|swf|zip|tgz|gz|rar|bz2|doc|x1s|exe|ppt | txt 
|tar|mid|midi|wav|rtf|mpeg) $ { 
root /data/www/OMserverweb/static; 


access log off; 





其 中 “omserver.domain.com” 为 平台 访问 域 
名 ，“%data/www/OMSserverweb” 为 项 目 根 目录 ， 可 以 
根据 具体 环境 进行 修改 。 


7) 配置 uwsgi。 创 建 uwsgi 配 置 文 
件 /usr/local/nginx/conf/uwsgi.ini， 详 细 内 容 如 下 : 





[uwsgi] 


socket - 0.0.0.0: 9000 # 监 听 的 地 址 及 端口 
master = true # 启 动 主 进程 

pidfile = /usr/local/nginx/uwsgi.pid 
processes = 8 #uwsgi 开 启 的 进程 数 

chdir = /data/www/OMserverweb # 项 目 主 目录 


pythonpath = /data/www 


profiler-true 
memory-report-true 
enable-threads - true 
logdate-true 
limit-as-6048 


daemonize-/data/logs/django.log 





局 动 uwsgi 与 nginx 服 务 ， 建 议 配置 成 服务 目 启 动 脚 
本 ， 便 于 后 续 的 日 党 维护 。 详 细 启 动 脚本 这 里 不 展 
开 说 明 ， 有 兴趣 的 读者 可 参阅 互联 网 上 已 经 存在 的 
相关 资源 。 














# /usr/bin/uwsgi --ini /usr/local/nginx/conf/uwsgi.ini 


# /usr/local/nginx/sbin/nginx 





访问 http://omserver.domain.com， 出 现 如 图 4-4 所 示 
的 页 面 说 明 Djangotuwsgi 环 境 部 蜀 成 功 ! 


It worked! 


Congratulations on vour first Django-powered page. 


Of course, you haven't actually done any work yet. Here's what to do next: 


e If you plan to use a database, edit the DATABASES setting in QQ settings. py. 
e Start your first app by running python manage. py startapp [sppname]. 


You're seeing this message because you have DEBUG = True in your Django settings file 
and you haven't configured any URLs. Get to work! 


图 13-4 Django 默认 首页 
(2) rpyc 模 块 安装 。 


rpyc (Remote Python Call) 是 Python 提供 分 布 式 计 
算 的 基础 服务 平台 ， 可 以 理解 成 封装 程度 更 高 的 
Socket 编 程 ， 最 新 版 本 为 3.3。 本 示例 需要 部 署 rpyc 
模块 的 主机 为 192.168.1.20 (SN2013-08-020) 、 
192.168.1.10 (SN2012-07-010) . 





# wget https: //pypi.python.org/packages/source/r/rpyc/rpyc- 
3.2.3.tar.gz --no-check-certificate 


# tar -zxvf rpyc-3.2.3.tar.gz 
# cd rpyc-3.2.3 


# python setup.py install 





13.43 ”开发 环境 优化 


开 及 环境 相对 于 生产 环境 更 注重 调试 便捷 性 ， 好 的 
调试 工具 对 软件 开 友 将 起 到 事半功倍 的 作用 ， 方 便 
高 效 地 定位 问题 。 本 贡 介 绍 Django 必 备 调试 工具 
django-debug-toolbar 的 安装 与 配置 ， 同 时 介绍 如 何 
实现 一 种 Django 代 码 自 动 刷 新 生效 的 方法 。 


(1) django-debug-toolbar 的 安装 





# wget https: //github.com/robhudson/django-debug- 
toolbar/archive/master.zip 


# unzip master 
# cd django-debug-toolbar -master/ 


# python setup.py install 





修改 Django 的 setting.py 配 置 ， 关 键 参 数 如 下 : 





INTERNAL IPS = ('127.0.0.1', '192.168.1.101', ) # 添 加 启动 
调试 器 的 来 源 IP 


MIDDLEWARE CLASSES = ( # MIDDLEWARE_CLASSES 添 加 以 下 行 
'debug toolbar.middleware.DebugToolbarMiddleware', 
) 
INSTALLED APPS = ( 4 INSTALLED_APPS 添 加 以 下 行 
' debug. toolbar', 


j 


TEMPLATE DIRS = ( #TEMPLATE_DIRS 添 加 以 下 行 ， 注 意 与 python 的 安 
装 路 径 保持 一 臻 


'/usr/lib/python2.6/site-packages/django debug toolbar- 
0.8.5-py2.6.egg/debug toolbar/templates/', 


) 








务必 要 泻 染 一 个 模板 ， 这 样 debug_toolbar 才 会 自动 
附加 调试 信息 到 当前 的 页 面 ， 人 否则 看 不 到 





debug_tool 的 界面 。debug_toolbar 在 业务 前 端 页 面 设 
计 成 可 伸缩 展示 ， 展 开 后 的 调试 界面 如 图 13-5 所 
7B 


Settings from OMserverweb.settings 





图 13-5 debug toolbar [fj 
(2) Django 源 码 目 动 重 载 (reload) 方案 


本 方案 结合 uwsgi 的 “--touch-reload” 参 数 来 实现 ， 参 
数 格式 : --touch-reload" 文 件 "， 即 当 该 参数 值 指定 
的 文件 发 生变 化 〈 修 改 或 touch 操 作 ) 时 ，uwsgi 进 
程 将 自动 重 载 (reload) ， 从 而 使 我 们 的 项 目 代 码 
刷新 生效 。 男 外 ， 如 何 保证 一 旦 更 新 项 目 源码 立即 
触发 变更 --touch-reload 指 定 的 文件 ? Linux 系 统 下 的 
inotify 可 以 做 到 这 点 ， 有 其 体操 作 如 下 。 


1) 在 项 目 目录 中 创建 一 个 监视 文件 : 

















# mkdir /data/www/OMserverweb/shell # 在 项 目 目录 中 创建 一 个 存放 


监视 文件 的 目录 shell 





# touch reload ,set # 创 建 一 个 监视 文件 reload. set 
# yum -y install inotify-tools # 安 装 inotify 程 序 包 
# UWSgi 启 动 脚本 添加 “- -touch-reload” 项 


# /usr/bin/uwsgi --ini "/usr/local/nginx/conf/*.ini" -- 
touch-reload "/data/www/OMserverweb/shell/reload.set" 





2) 编写 监视 脚本 : 





# vi /data/www/OMserverweb/shell/autoreload.sh 

#! /bin/sh 

objectdir="/data/www/OMserverweb" 

# 启动 jnotify 监 视 项 目 目录 ， 参 数 “- -exclude” 为 忽略 的 文件 或 目录 正则 
/usr/bin/inotifywait -mrq --exclude 

" Cstatic|logs|shell|\.swp|\.swx|\.pyc|\.py\~) " --timefmt 
'96d/96m/96y 96H: %M' --format '%T %w%f' --event modify, 
delete, move, create, attrib ${objectdir} | while read files 


do 


# 项 目 源码 发 生变 化 后 ， 触 发 touch reload ,net 的 操作 ， 最 终 使 wsgi 进 程 重 
载 ， 达 到 刷新 项 目 源 码 的 目的 


/bin/touch /data/www/OMserverweb/shell/reload.set 
continue 


done & 





3) 局 动 脚 本 开局 项 目 目录 监视 : 





# /data/www/OMserverweb/shell/autoreload.sh 


13.5 “系统 功能 模块 设计 
13.5.1 前端 数据 加 载 模块 


OMServer 平 台 的 Web 前 端 采用 prototype.js 作 为 默认 
Ajax 框架 ， 通 过 get 方 式 回 定义 好 的 Django 视 图 友 起 
请 求 ， 功 能 视图 通过 HttpResponse〈) 方法 直接 输 
出 结 有 末 ， 前 端 会 将 输出 的 结果 做 页 面 泻 染 。 图 13-6 
为 应 用 ID Capp. categId) 等 于 1 的 HttpResponse () 
输出 结果 ， 前 问 会 将 这 个 结果 串 进 行 分 割 ， 然 后 填 
FA oA, Ja wn ll EAS 


€ £a omserver.domain.com/autoadmir 











192. 168. 1. 10, 192. 168. 1. 20 |192. 168. 1. 10*sn2012-07-010, 192. 168. 1. 20*en2013-08-020 


图 13-6 ”后 端 返回 主机 信息 
前 端 各 区 域 对 应 的 数据 库 表 及 视图 方法 见 图 13-7。 


OMServer 


module ist3& 
module ist() 


文件: resin&EXE l| 


[user@omserver]# 


server_app_categz= | Windows Web 
server app categ() |. ASGHAR 
MAN domain com 


bbs. domain.com 


server istzk 
server ist() 


192.168.1.21 


i 192.168.1.22 





图 13-7” 前端 各 区 域 对 应 后 全 方法 及 数据 库 表 
局 部 方法 代码 如 下 : 


[/data/www/OMserverweb/autoadmin/views.py ] 





-Return server IP list 
= 返回 服务 器 列表 方法 


def server list (request) : 


ip-"" 

ip_hostname="" 

if not 'app_categId' in request.GET: 
app_categId="" 

else: 


app. categId-request.GET['app. categId'] # 获 取 用 户 选 
择 的 应 用 分 类 ID 


#ServerList 为 server_1list 表 模型 对 象 ， 实 现 过 滤 获 取 的 应 用 分 类 ID 相 
匹配 的 主机 列表 














ServerListObj = 
ServerList.objects.filter (server_app_id=app_categId) 


for e in ServerListObj: 

ipt=", "*e.server lip 

ip_hostnamet=", "+e.server_lipt+"*"+e.server_name 
server_list_string=ip[1: ]+"|"+ip_hostname[1: ] 


# 输出 格式 : 192 .168 .1,10， 
192.168.1.20|192.168.1.10*sn2012-07-010, \ 


Iva 


4192.168.1.20*sn2013-08-020, H'B^"|" NT B HD AIPHELL, TE 
为 HTML «option» 


下 拉 框 显示 项 ， 


# 分 隔 符 后 部 分 为 <option> 的 value， 以 “*7” 号 作为 分 隔 符 ， 目 的 是 为 后 端 
提供 主机 名 及 IP 两 种 


目标 地 址 支持 














return HttpResponse (server list string) 


-Return module list 


= 返回 功能 模块 列表 方法 





def module list (request) : 
module id-"-1" 
module_name=u7" 请 选择 功能 模块 ,, ," 


4 ModuleList 为 nodule_1ist 表 模型 对 象 ， 实 现 读 取 所 有 模块 列表 ， 以 模 
块 id 做 排序 





ModuleObj = ModuleList.objects.order by ('id') 
for e in ModuleObj: 

module id-«-", "+str (e.id) 

module name-«-", "+e.module_name 
module list string-module name-"|"-module id 


# 输 出 格式 : “请 选择 功能 模块 , . .， 查 看 系统 日 志 ， 查 看 最 新 登录 ， 查 看 系统 
版 本 | -1，1001，1002，10037 

















# 其 中 “| 7 号 分 隔 模块 名 称 与 模块 TD，Web 前 端 获取 数据 后 通过 JavaScript 
做 拆 分 与 组 装 


return HttpResponse (module list string) 





13.5.2 ”数据 传输 模块 设计 


传输 模块 采用 rpyc 分 布 式 计算 框架 ， 利 用 分 布 式 特 
点 可 以 实现 多 人 台 主 控 设 备 的 文 持 ， 具 备 一 定 横 辐 扩 - 
展 及 容 灾 能 力 。rpyc 分 为 两 种 角色 ， 一 种 为 Server 

闪 ， 另 一 种 为 Client 端 ， 与 传统 的 Socket 工 作 方式 一 
样 ， 区 别 是 rpyc 实 现 了 更 高 级 的 封 狼 ， 文 持 同 步 与 
异步 操作 、 回 调和 远程 服务 以 及 透明 的 对 象 代理 ， 

可 以 轻松 在 Server 与 Client 之 间 传 递 Python 的 任意 对 








象 ， 在 性 能 方面 也 非常 高 效 。 下 面 介绍 的 是 Django 
的 module_ run O 视图 方法 ， 实 现 接 收 功能 模块 的 
提交 参数 、 加 密 、 发 送 、 接 收 功 能 模块 运行 结 

等 ， 局 部 方法 代码 如 下 : 


[/data/www/OMserverweb/autoadmin/views.py ] 





- Run module 


= 运行 模块 视图 方法 〈 向 rpyc 服 务 器 端 发 起 任何 请 求 ) 














def module run (request) : 
import rpyc 
put string-"" 


if not 'ModuleID' in request.GET: # 接 收 模块 TD、 操作 主 
机 、 模 块 扩 展 参 数 等 (更 多 源码 已 省 略 ) 


Module_Id="" 

else: 
Module_Id=request.GET[ 'ModuleID' ] 
put string--Module Id-"QQ" 


try: 





conn=rpyc.connect ('192.168.1.20', 11511) # 连 接 rpyc 
主 控 端 主机 ， 端 口 ， 11511 


y 


t 








5 


# 调 用 rpyc Server 的 login 方 法 实现 账号 、 密 码 校 验 ， 屏 蔽 恶意 的 
接 


conn.root.login ('OMuser', 'KJS2304ij09gHF734iuhsdfhkGYSihoiwhj: 
except Exception. e: 
logger.error ('connect rpyc server error: '+str (e) ) 


return HttpResponse ('connect rpyc server 
error: '*str (e) D 











# 对 请 求 数 据 串 使 用 tencode 方 法 进行 加 密 ， 密 钥 使 用 Django 中 
settings.SECRET_KEY 的 值 





put string-tencode (put string. settings.SECRET_KEY) 





# 调 用 rpyc Server 的 Runcommands 方 法 实现 功能 模块 的 任务 下 发 ， 返 回 的 
结果 使 用 tdecode 进 行 解密 








OPresult-tdecode (conn.root.Runcommands (put string), 
settings.SECRET KEY) 




















return HttpResponse (OPresult) # 输 出 结果 供 前 端 泻 染 





关于 rpyc 服 务 器 问 的 实现 原理 ， 首 先 接 收 rpyc 客 户 
端 传递 过 来 的 信息 ， 通 过 解密 方法 还 原 出 模块 ID、 
操作 对 象 、 模 块 扩展 参数 等 信息 ， 再 通过 exec 方 法 
导入 相应 的 功能 模块 〈 要 事先 完成 编写 ， 人 否则 会 提 
示 找 不 到 指定 功能 模块 ) ， 调 用 功能 模块 的 相关 方 
法 ， 实 现 操作 任务 同业 务 集 群 服务 器 下 发 与 执行 ， 
最 后 将 任务 执行 结果 串 进 行 格式 化 、 加 密 后 返回 给 
Web 层 。 完 整 实现 代码 如 下 : 


[/home/test/OMServer/OMservermain.py ] 

















# -*- coding: utf-8 -*- 


import time 


import os. sys 

import re 

from cPickle import dumps 

from rpyc import Service 

from rpyc.utils.server import ThreadedServer 
import logging 

from libraries import * 

from config import * 


# 定 义 服 务 器 端 模块 存放 路 径 





sysdir-os.path.abspath (os.path.dirname ( file 22 
sys.path.append (os.sep.join ( (sysdir, 'modules/'-AUTO PLATFORM 


class ManagerService (Service) : 














定义 1ogin 认 证 方法 ， 对 外 开放 调用 的 方法 ，rpyc 要 求 加 上 ”7 
exposed “前 缀 ， 调 用 时 使 用 





# login © 即 可 
def exposed login (self, user, passwd) : 


if user-z"OMuser" and 
passwd-z"KJS2304ij09gHF734iuhsdfhkGYSihoiwhj38u4h": 








self.Checkout pass-True # 认 证 结果 标记 变量 ， 值 
为 “True” 则 认证 通过 ， 反 之 











# 认 证 失败 
else: 
self.Checkout pass-False 
def exposed Runcommands (self, get string) : 


logging.basicConfig (level-logging.DEBUG. # 启 用 系 
统 日 志 记 录 


format='% (asctime) s [% (levelname) s] % 
(message) s', 


filename=sys.path[0]+'/logs/omsys.log', 
filemode-'a') 


# 判 断 是 否 通过 认证 





try: 
if self.Checkout pass! -True: 


return tencode ("User verify failed! ", 
SECRET KEY) 


except: 


return tencode ("Invalid Login! ", 
SECRET KEY) 








# 获 取 rpyc ClLient 的 请 求 串 get_string， 通 过 tdecode 方 法 解密 后 
再 进行 分 隔 ， 分 隔 符 为 “6@7 








self.get string array-tdecode (get string. 
SECRET KEYO .split ('QQ') 


self.ModuleId-self.get string array[0] # 获 取 功 能 模 
HID 


self.Hosts-self.get string array[1] # 获 取 操 作 目 标 主 
机 


sys param array-[] # 获 取 功 能 模块 的 扩展 参数 并 追加 到 列表 


for i in range (2, len (self.get string array) -1) : 


Sys param array.append (self.get string array[i]) 


# 加 载 模块 ID 应 对 的 模块 名 ， 格 式 为 “Mid_ “+ 模块 ID， 
如 “Mid_ 1001.py" 


mid="Mid_"+self.ModulelId 


importstring = "from "+mid+" import Modulehandle" 


try: 
exec importstring 
except: 


return tencode Cu"module\""+mid+u"\"does not 
exist, Please add 


it", SECRET KEY) 
# 调 用 模块 相关 方法 ， 下 发 执行 任务 


RunobjzModulehandle (self.ModuleId. self.Hosts, 
Sys param array?) 





Runmessages-Runobj.run () 
# 根 据 不 同 主 控 端 组 件 格式 化 输出 ， 文 持 Func、Ansible、Saltstack 
if AUTO PLATFORM--"func": 

if type (Runmessages) == dict: 


returnString = func_transform (Runmessages, 
self.Hosts) 


else: 
returnString = str (Runmessages) .strip © 
elif AUTO_PLATFORM=="ansible": 
if type (Runmessages) == dict: 


returnString = 
ansible transform (Runmessages, self.Hosts) 


else: 
returnString = str (Runmessages) .strip © 
elif AUTO_PLATFORM=="saltstack": 
if type (Runmessages) == dict: 


returnString = 
saltstack transform (Runmessages, self.Hosts) 


else: 
returnString = str (Runmessages) .strip © 


# 对 返回 给 rpyc Client 的 数据 串 进行 加 密 





return tencode (returnString, SECRET_KEY) 


s-ThreadedServer (ManagerService, port=11511, 
auto_register=False) 





s.start © # 启 动 rpyc 服 务 监 听 、 接 收 、 响 应 请 求 








数据 传输 的 安全 性 关系 到 整个 运营 平台 的 生命 线 ， 
因此 严格 做 好 入 侵 安 全 防范 至 关 重 要 。OMServer 平 
A 3x Hjbase64.b64encode () 、 

base64.b64decode O 加 上 密 钥 宴请 算法 (RC4) 实 
现 数据 的 加 密 与 解密 。OMServer 平 台 遵 循 一 

则 ， 数据 在 传输 之 前 调用 tencode O 方法 进行 加 
密 ， 在 数据 接收 完毕 后 调用 dencode O 方法 进行 
解密 。 解 密 的 密 钥 采用 项 目 settings.py 中 的 
SECRET KEY 变量 值 。 同 时 在 rpyc 服 务 器 端 添 加 
login ©) 方法 ， 实 现 馆 辑 层 的 安全 防护 。 


[/home/test/OMServer/libraries.py ] 

















# -*- coding: utf-8 -*- 
#! /usr/bin/env python 
import random, base64 


from hashlib import shai 





#RC4 加 密 算 法 
def crypt (data, key): 
xX = 0 
box = range (256) 
for i in range (256) : 
xX = (x + box[i] + ord (key[i % len (key) ]) ) % 256 


box[i], box[x] = box[x], box[i] 


for char in data: 
x= (x + 1) % 256 
y= (y + box[x]) 96 256 
box[x], box[y] = box[y]. box[x] 


out.append (chr Cord (char) ^ box[ (box[x] + box[y]) 
% 256]) D 


return ''.join (out) 


# 使 用 RC4 算 法 加 密 编 码 后 的 数据 ，data 为 加 密 的 数据 ，key 为 密 钥 























def tencode (data, key, encode=base64.b64encode, 
salt_length=16) : 


"""RC4 encryption with random salt and final encoding""" 
salt - '' 
for n in range (salt length) : 
salt += chr (random.randrange (256) ) 
data = salt + crypt (data, shai (key + salt) .digest () ) 


if encode: 


data = encode (data) 
return data 


# 使 用 RC4 算 法 解密 编码 后 的 数据 ，data 为 加 密 的 数据 ，key 为 密 钥 








def tdecode (data, key, decode=base64.b64decode, 
salt_length=16) : 


if decode: 
data = decode (data) 
salt = data[: salt length] 


return crypt (data[salt length: ], shai (key + 
salt) .digest (D) 





13.5.3 ”平台 功能 模块 扩展 


OMServer 平 台 模块 的 扩展 需要 完成 两 件 事情 ， 一 是 
在 前 端 添 加 模块 基本 信息 ， 二 是 在 服务 器 端 编写 对 
应 的 任务 模块 ， 下 面 对 具 体内 容 进行 详细 说 明 。 


(1) VS TIL BU S ER 


S UH B Hin EE CL TE Ta HE BOR A AK, DREW, BEER 
i OHTMLZREAEZJECEUPAMO 59. HARRE E 
点 击 首 页 的 【添加 模块 】 按 钮 ， 跳 转 到 “ 座 加 模 
块 ”表单 页 面 ， 其 中 最 关键 的 是 “模块 扩展 ”输入 
框 ， 文 持 所 有 HTML 表 单元 素 ， 后 台 通 过 name 属 性 
引用 其 值 (value) 。OMServer 目 前 支持 最 多 两 个 
扩展 参数 ，name 属 性 要 求 使 

Fd*sys param 1". “sys_param_22” 作 为 其 定义 值 ， 


























当然 ， 扩 展 更 多 参数 的 改造 成 本 也 非常 低 。 在 本 示 
例 中 添加 “重启 进程 服务 ”模块 ， 具 体操 作 如 图 13-8 
所 示 。 


将 返回 新 增 模块 的 ID， 该 模块 ID 同时 会 作为 
Fer i EA CERT Jc CA 如 图 13-9 所 示 ， 记 下 
eden A [Xm ERAS SEE o 


系 加 功能 模块 











模块 名 称 : 5 eism 
中 能 说 明 : 。 ”|[<b> 功 能 说 明 </b>]<br> 重启 目标 服务 器 指定 的 进程 或 服务 -支持 HTMI 
ao 
"sys i ram. 1" ids"sys param |^» 
e pede sin” selected>resin</option> 
Doha value=" papel ?ngi nx</o exis on? 


<option value="haproxy” >haproxy</ option 
<option sies sie ent ni 
<option value=" mysal“ >nysql</optionm 
<option value=" lighttpd” >lighttpd</option> 
</select> 


413-8 KINAI im ARER 


Any 


mibi: 重启 进程 服务 

DAHA: 。 ”|[<b> 功 能 说 明 </b>]<br> 重启 目标 服务 器 的 指定 的 进程 或 服务 “支持 HTML 
进程 服务 名 称 : 
<select n 


ane-"sys param |l" id-"sys param 1 > 
alue="resin” selected>resin</option> 
Ki mxc/on on 





= BiSSi Rey EGR. DigiE" sys param 1". “sys_param_2° 


az | xa 


413-9 ”提交 前 端 模块 添加 
(2) 添加 服务 器 端 任务 模块 


服务 右 端 模块 的 作用 是 负责 具体 远程 操作 任务 的 功 
能 封装 ， 支 持 3 种 Python 自 动 化 操作 组 件 ， 包 括 
Saltstack、Ansible、Func。 不 同 组 件 的 API 语 法 及 
返回 数据 结构 都 不 一 样 ， 因 此 OMServer 在 设计 时 整 
将 不 同 组 件 的 模块 进行 隔离 ， 具 体 模块 目录 结构 如 
图 13-10 所 示 ， 在 模块 目录 “(modules) 下 组 件 名 作 
为 二 级 目录 名 ， 二 级 目录 下 为 具体 的 任务 模块 ， 文 
件 名 称 由 “Mid_”+ 模 块 ID 组 成 ， 与 前 端 生 成 的 模块 
ID 进行 关联 。 











[root85N2013-08-020 OMServer]# tree modules/ 


Mid 1001. 
Mid 1002. 
Mid 1003. 
Mid 1004. 
Mid 1005. 
Mid 1006. 
Mid 1007. 
Public lib.py 


Mid 1001. 
Mid 1002. 


Mid 1003.py 
Mid 1004. 

Mid 1005. 

Mid 1006. 

Mid 1007. 
Public lib.py 

saltstack 

. init__.py 
Mid 1001.py 
Mid 1002.py 
Mid 1003.py 
Mid 1004.py 
Mid i1005.py 
Mid 1006.py 
Mid 1007.py 
Public lib.py 


图 13-10 ”服务 器 端 模块 目录 结构 


关于 任务 模块 的 编写， 不 同 组 件 的 实现 规范 和 方法 
都 不 一 样 ， 在 编 a 需要 更 新 配置 文件 
config.py 的 两 个 选项 

Cope iia esca 组 件 环境 ， 可 选项 
为 “ansible”、 “saltstack” “func”, “SECRET KEY”? 





EIR, ERAH, M H settings.py H 
SECRET KEY 变量 保持 一 致 。 另 外 modules/ 

Cansible|saltstack|func) /Public_lib.py 文 件 的 作用 是 
导入 、 定 义 各 组 件 的 API 模 块 包 及 全 局 参数 ， 同 时 
也 增加 代码 的 复 用 性 。 


[/home/test/OMServer/config.py ] 





# -*- coding: utf-8 -*- 
#! /usr/bin/env python 


AUTO PLATFORM = "saltstack" # 指 定 组 件 环境 ， 支 持 Saltstack、 
Ansible、Func 





# 密 钥 ， 与 项 目 中 setting .py 的 SECRET_KEY 变 量 保持 一 致 





SECRET KEY = "ctmj#&amp; 8hrgow ^sj$ejtQ9fzsmh o) - 
= (byt5jmg=e3#foya6u" 





服务 器 端 任务 模块 由 Modulehandle 类 及 其 两 个 方法 
组 成 ， 其 中 _init O 方法 作用 为 初始 化 模块 基 

本 信息 ， 包 括 操 作 主 机 列表 、 模 块 ID、 模 块 扩展 参 
WAS; run O 方法 实现 组 件 API 的 调用 以 及 返回 执 
行 结果 。 针 对 “ 重 局 进程 服务 ”这 个 任务 模块 ， 下 面 
分 别 介绍 3 个 组 件 的 不 同 实现 方法 。 


1) 编写 Ansible 组 件 ID 为 “1007” 模 块 。 


根据 Ansible 组 件 模 块 的 开发 原理 ， 通 过 调用 
command 模 块 实现 远程 命令 执行 ， 使 用 copy 模 块 实 


现 文件 远程 同步 ， 详 细 源 码 如 下 : 
【 /home/test/OMServer/modules/ansible/Mid_1007.py 





# -*- coding: utf-8 -*- 
from Public lib import * 
# 重 局 应 用 模块 进程 服务 # 
class Modulehandle () : 


def | init (self, moduleid. hosts, sys param row) : 
# 初 始 化 方法 无 须 改 动 





self.hosts - "" 
self.Runresult = "" 
self.moduleid = moduleid # 模 块 ID 


self.sys param array- sys param row # 模 块 扩 展 参 数列 
表 


self.hosts-target host (hosts, "IP") # 格 式 化 主机 信息 ， 
参数 “IP” 为 TP 地 址 ， “SN” 为 主机 名 


# 任 务 下 发 、 执 行 方法 
def run (self) : 
try: # 根 据 模块 扩展 参数 定义 执行 的 不 同 命令 集 














commonname-str (self.sys_param_array[0]) 

if commonname=="resin": 
self.command="/etc/init.d/resin restart" 

elif commonname=="nginx": 
self.command="/etc/init.d/nginx restart" 


elif commonname=="haproxy": 


self.command="/etc/init.d/haproxy restart" 
elif commonname=="apache": 

self.command="/etc/init.d/httpd restart" 
elif commonname--"mysql": 

self.command="/etc/init.d/mysql restart" 
elif commonname--"lighttpd": 


self.command="/etc/init.d/lighttpd restart" 











# 调 用 Ansible 提 供 的 API (command 模 块 ) ， 执 行 远程 命令 





self.Runresult = ansible.runner.Runner € 
pattern=self.hosts, forks=forks, 


module name-"command", 
module args-self.command,. ) .run © 


if len (self.Runresult['dark']) == 0 and 
len (self.Runresult['contacted']) == 0: 











return "No hosts found， 请 确认 主机 已 经 添加 








ansible iš! " 
except Exception, e: 


return str (e) 





return self.Runresult # 返 回执 行 结果 





2) 编写 Saltstack 组 件 ID 为 “1007” 模 块 。 


根据 Saltstack 组 件 模 块 的 开发 原理 ， 通 过 调用 
cmd〈) 方法 配置 “cmd.run” 与 “cp.get_file” 参 数 实现 
远程 命令 执行 及 文件 远程 同步 ， 详 细 源 码 (部 分 )》 
如 下 : 


[ /home/test/OMServer/modules/saltstack/Mid_1007.p 





def run (self) : 
try: 
client = salt.client.LocalClient (©) 











# 调 用 Saltstack 提 供 的 API (cmd. run 模块 ) ， 执 行 远程 命令 





self.Runresult = 
client.cmd (self.hosts, 'cmd.run', [self.command]. \ 


expr_form='list' ) 


if len (self.Runresult) == 0: 











return "No hosts found， 请 确认 主机 已 经 添加 
saltstack 环 境 ! " 








except Exception, e: 


return str (e) 





return self.Runresult # 返 回执 行 结果 





3) 编写 Func 组 件 ID 为 “1007” 模 块 。 


根据 Func 组 件 模块 的 开发 原理 ， 通 过 调用 
client.command.run〈() 方法 实现 远程 命令 执行 ， 使 
用 client.copyfile.copyfile〈) 方法 实现 文件 远程 同 
步 ， 详 细 源 码 〈 部 分 ) 如 下 : 


[ /home/test/OMServer/modules/func/Mid_1007.py ] 





def run (self) : 
try: 


client = fc.Overlord (self.hosts) 











# 调 用 Func 提 供 的 API (command ,run 模块 ) ， 执 行 远程 命令 





commonname-str (self.sys param array[0]) 
self.Runresult-client.command.run (self.command ) 
except Exception, e: 


return str (e) 





return self.Runresult # 返 回执 行 结果 





任务 模块 编写 完成 后 ， 局 动 服务 端 服 务 ， 运 行 以 下 





# cd /home/test/OMServer 


# python OMservermain.py & 





Ba, FIP as Wy IA) 
http://omserver.domain.com, XR WE3-11. 


OMServer Ce 





Pye] we | 





图 13-11 远程 操作 功能 截图 





参考 提示 RC4 加 密 算 法 参考 文章 
http://www.snip2code.com/Snippet/27937/Blockout- 
encryption-decryption-methods-p. 


第 14 音 ”打造 Linux 系 统 安全 审计 功能 


随 着 互联 网 逐渐 深入 我 们 日 第 生活 的 方方面面 ， 网 
络 安全 威胁 也 随 之 严重 ， 比 如 服务 器 渗透 、 数 据 窃 
取 、 恶 意 攻击 等 。 为 了 解决 网 络 安全 的 问题 ， 人 们 
采取 了 各 式 各 样 的 防护 措施 来 保证 网 络 或 服务 的 正 
常 运行 ， 其 中 系统 安全 审计 是 记录 入 侵 攻 击 主 机 的 
一 个 重要 凭证 : 实时 跟踪 黑客 的 操作 记录 ， 可 在 第 
一 时 间 监 测 到 攻击 者 的 行为 ， 并 让 管理 员 采 取 相 应 
的 应 对 措施 ， 同 时 也 可 作为 日 后 攻击 者 的 犯罪 证 
据 ， 为 后 续 的 审计 工作 提供 数据 依据 ， 有 具有 可 靠 
性 、 完 整 性 、 不 可 抵赖 等 特点 。 本 章 将 介绍 在 
OMServer 平 台 扩 展 Linux 系 统 安全 审计 功能 。 











14.1 平台 功能 介绍 


安全 审计 功能 作为 OMServer 平 台 的 一 部 分 ， 扩 展 了 
Linux 系 统 安全 审计 的 功能 ， 实 现实 时 跟踪 所 有 
Linux 服 务 器 系统 登录 账号 的 操作 记录 ， 由 于 操作 
记录 异地 集中 式 存 储 ， 即 使 攻击 者 做 了 事后 的 操作 
痕迹 清理 也 无 济 于 事 。 该 功能 结合 Linux 系 统 的 
history (MET EWK) 工作 机 制 实 现 ， 同 时 设 
置 用 户 全 局 环境 /etc/profile 的 history 属 性 变量 ， 实 现 
定制 系统 用 户 实 时 触发 事件 ， 在 该 事件 中 加 入 
Python 编 写 的 上 报 脚 本 ， 实 现 数 据 的 实时 跟踪 ， 最 
后 利用 OMServer 的 前 问 作 为 实时 输出 展示 ， 平 台 首 
Vit AL 14-1. 











图 14-1 平台 首页 截图 


14.20 系统 构架 设计 


OMServer 平 人 台 安 全 审计 的 功能 同样 基于 B/S 结 构 ， 
服务 端的 数据 来 源 于 业务 集群 Agent 实 时 上 报 ， 使 
用 MySQL 数 据 库 作为 数据 人 存储， 客户 端 采 用 
prototype.js 前 端 架构 实现 数据 同步 展示 ， 系 统 架 构 
图 见 图 14-2。 


cm. : 5 zm 
i 


办 从 设备 
4 
— à. ^ 


办 公设 备 


gm HTTP GET-— ye 
Web 服务 <a um 


OMServer 业务 服务 器 集群 (Python agent) 


ES 


图 14-2 ”系统 架构 图 


从 图 14-2 中 可 以 看 出 系统 的 整体 架构 ， 站 先 管理 员 
在 业务 服务 器 集群 部 署 Python 数 据 上 报 脚本 ， 通 过 
OMServer 提 供 的 cgi 接 口 实 现 数据 接收 、 入 库 ， 最 
后 通过 访问 前 站 页 面 来 得 看 、 跟 踩 服务 豆 上 报 的 审 
计 信 息 ， 整 个 流程 结 











14.3 数据库 结构 设计 
14.3.1 数据 库 分 析 


安全 审计 服务 器 端 功能 是 在 OMServer 平 台 上 进行 扩 
展 ， 妃 加 一 张 server_history 表 ， 用 于 操作 事件 信息 
的 存储 ， 且 与 Server_list 的 卫 字 段 配置 外 键 关 联 。 表 
信息 说 明 如 下 。 


server history: 操作 事件 表 。 
:server list: 服务 器 列表 。 
14.3.2 ”数据 字典 


server_list 服 务 器 列表 。 


ee s 
[xo | | 
ee a a 


imestamp |CURRENT TIMESTAMP = a A Hid fü 
Cas | — — —L—w 1  — h 





数据 库 模型 功能 沿用 了 OMServer 系 统 中 主机 表 
(server lis. 的 层次 结构 ， 且 人 退 加 了 操作 事件 表 
(server history) ， 其 中 ， 将 表 server_history 的 

history_ip 字 上 段 设置 成 外 键 ， 与 server_list 表 中 的 

server_lip 字 上 段 进行 天 联 ， 详 细 见 图 14-3 的 数据 库 模 


AY 
9 server_name CHAR(13) 
9 server wip CHAR(15) 
V 一 一 一 一 一 一 HG 'sener ipCHAR(I2 H- | 
I * server. op CHAR(10) | 
- V server app jd INT (11) | 
| » 
| T0 pray | = 
| > server categ name CHAR(20) I 
» - ! 1D INT(11) 
ee > history jd INT(11) 
| + * histpry jp CHAR(15) 
9 history user CHAR( 15) 
| * D INT(11) ® history. datetime DATETIME 
L c awam an om -< 9 server categ id INT(11) * db, datetme TIMESTAMP 
| * &pp categ name OHAR(30) * history command CHAR(25S) 
> > 





图 14-3 平台 数据 库 模 型 


144 系统 环境 部 署 

14.4.1 系统 环境 说 明 

系统 安全 审计 功能 的 服务 器 问 作 为 OMServer 项 目的 
App 存 在 ， 关 于 服务 器 端 Web Server 的 环境 搭建 本 
节 将 不 再 说 明 。 为 了 便于 读者 理解 ， 下 面 对 上 报 主 
机 系统 环境 配置 、Agent 与 服务 器 端 Python 实现 方法 
进行 详细 说 明 ， 环 境 设 备 角 色 如 表 14-1 所 示 。 


表 14-1 系统 环境 说 明 表 





14.4.2 上报 主机 配置 

系统 安全 审计 功能 主机 上 报 需 要 完成 两 个 任务 ， 一 
为 配置 用 户 profile， 二 为 编号 上 报 Python 脚 本 ， 下 
面 一 一 进行 说 明 。 

(1) 系统 用 户 环境 配置 


通过 配置 Linux profile 的 history 相 关 变 量 来 实现 与 安 
全 审计 功能 的 对 接 ， 包 括 指 定 系 统 账 号 history 存 放 
KIE FEKE, PRE 
PROMPT_COMMAND 事 件 等 ， 更 多 见 以 下 配置 及 
含义 说 明 。 














# vi /etc/profile 
# 追加 以 下 配置 
add by OMAudit 


export HISTFILE-$HOME/.bash history # 指 定 用 户 history 日 志 存 放 
路 径 





export HISTSIZE-1200 # 指 定 history 命令 输出 的 记录 数 





export HISTFILESIZE-1200 # 指 定 历史 记录 文件 ,bash_history 的 最 大 
存储 行 数 


export HISTCONTROL-ignoredups # 不 记录 连续 重复 的 命令 








了 


export HISTTIMEFORMAT="`whoami` %F %T " # history 命 令 显 示 当 前 
记录 的 用 户 与 时 间 ， 例 如 : 





# "root 2014-06-05 23: 32: 16 free -m" 








# _ PROMPT_COMMAND 变 量 最 为 核心 ， 实 现 了 指定 内 容 在 出 现 bash 提 示 符 前 执行 的 
eu. 





# "history -a" 将 目前 新 增 的 history 命 令 写 入 histfiles 中 ; "history 
-c" 删 除 记 录 的 所 有 命令 〈 仅 内 存 ) ; 


# "history -r” 将 histfiles 的 内 容 读 到 内 存 中 ， 即 可 以 通过 history 碍 
看 ; 





4 "/home/test/OMAudit/OMAudit agent.py $ (history 1) ”通过 $ 
(history 1) 获取 最 后 一 条 


# 命令 ， 且 作为 参数 传递 给 OMAuditmain.py 脚 本， 做 后 续 的 命令 数据 信息 上 报 


export PROMPT COMMAND-"history -a; history -c; history - 
r; "'/home/test/OMAudit/ OMAudit agent.py $ (history 1) ' 





shopt -s histappend # 历 史 清 单 将 以 添加 形式 加 入 HISTFILE 变 量 指定 尼 
文件 ， 而 不 是 覆盖 


typeset -r PROMPT_COMMAND # 设 置 关键 变量 只 读 ， 提 高 安全 性 




















typeset -r HISTTIMEFORMAT 





保存 配置 后 使 其 生效 ， 运 行 “source/etc/profile” 命 
令 ，profile 环 境 配置 完成 。 


(2) 客户 端 上 报 脚 本 


客户 问 上 报 脚本 的 作用 是 将 接收 的 BT Linux fi 
令 “$ Chistory 1) ”及 服务 器 相关 信息 提交 到 
OMServer 主 机 ， 其 中 config. pv A E kagenti 配置 文 
件 ， 涉 及 三 个 选项 ， 详 细 说 明 如 下 : 


[/home/test/OMAudit/config.py ] 














# -*- coding: utf-8 -*- 


#! /usr/bin/env python 











P ser = "etho" # 为 便于 记录 上 报 来 源 主机 ， 获 取 指 定 网 卡 驱动 的 
IP} 





OMServer address = "omserver.domain.com" #OMServer IRA 25m 


地 址 ， 作 为 上 报 的 目的 
Connect TimeOut = 3 # 指 定 上 报 超时 时 间 ， 单 位 为 秒 








OMAnudit _ agent.py 作 为 主 上 报 agent 和 程序， 负责 信息 
的 上 报 ， 采 用 了 httplib 模 块 作为 HITP 客 户 端 ， 详 细 
Jf e WEB WU: 


[/home/test/OMAudit/OMAudit agent.py ] 





#! /usr/bin/env python 


Zcoding: utf-8 


import sys 

import socket 

import fcntl 

import struct 

import logging 

from config import * 
import urllib, httplib 


socket.setdefaulttimeout (Connect TimeOut) # 设 置 全 局 Socket 
超时 时 间 “〈 履 盖 HTTP 连 接 超时 ) 





logging.basicConfig (level-logging.DEBUG, # 启 用 日 志 记录 


format='% (asctime) s [% (levelname) s] % 
(message) s', 


filename=sys.path[0]+'/omsys.log', 


filemode='a' ) 

















&XJ$ Chistory 1) 信息 进行 合法 校 验 ， 少 于 6 个 参数 则 报错 ， 正 确 的 格式 
为 “173 root 2014-06-07 22: 05: 56 1s” 








if len (sys.argv) «6: 


logging.error ('History not configured in 
/etc/profile! ') 


sys.exit () 














def get local ip (ethname) : # 获 取 本 地 IP 地 址 函数 ， 用 来 确认 数据 


try: 


SOCk = socket.socket (socket.AF INET, 
socket .SOCK_DGRAM) 


addr = fcntl.ioctl (sock.fileno () ， 0©x8915, 
struct.pack ('256s', ethname) ) 


return socket.inet ntoa ( addr[20: 24] ) 
except Exception, e: 


logging.error ('get localhost IP address 
error: '*str (e) ) 


return "127.0.0.1" 
def pull history (http get paramz'") : # 数 据 上 报 函 数 


try: 





# 与 OMServer 服 务 器 建立 HTTP 连 接 ， 指 定 超时 时 间 








http client 
-httplib.HTTPConnection (OMServer address, 80, timeout= 
Connect TimeOut) 











http client.request ("GET", http get param) # 发 起 
GET 请 求 

response -http client.getresponse () # 获 取 HTTP 返 回 
对 象 

if response.status ! = 200: # 非 HTTP 200 状 态 则 退出 


logging.error ('response http status 
error: '*str (response.status) ) 


sys.exit () 





http content-zresponse.read © .strip © # 返 回 字符 串 
JE“ OK” SU IE H 
if http_content ! = "OK": 


logging.error ('response http content 
error: '*str (http content) ) 


sys.exit () 
except Exception. e: 


logging.error ('connection django-cgi server 
error: '*str (e) ) 


sys.exit () 


finally: 
if http client: 
http client.close () 
else: 


logging.error ('connection django-cgi server 
unknown error.') 


sys.exit () 





Sysip - get local ip (Net driver) # 调 用 获取 本 地 IP 函 数 
SysUser = sys.argv[2] # 获 取 history 信 息 中 的 系统 用 
p 

History Id - sys.argv[1] # 获 取 history ID 信息 
History_date = sys.argv[3] # 获 取 history 日 期 信息 
History time = sys.argv[4] # 获 取 history 时 间 信 息 





History command = "" 


for i in range (5, len (sys.argv) ) : # 获 取 history 的 系统 命令 
言 息 


History_command+= sys.argv[i]-*" " 


# 合 并 所 有 信息 的 HTTP _ GET 参数 格式 ， 部 分 信息 使 用 ur11ib .quote 进 行 URL 编 码 


























s- "/omaudit/omaudit pull/? 
history_id="+History_Id+"&history_ip="+Sysip+"&history_user="+S 
X 


"&history_datetime="+History_dateturllib.quote (" ") 
*History time-"&history com 


mand="+urllib.quote (History command.strip © ) 


pull history (s) # 调 用 数据 上 报 函 数 





添加 “home/tesVOMAudiVOMAudit agent.py" Fy A 

行 权 限 ， 执 行 以 下 chmod 命 令 ， 客 户 端 上 报 agent 部 
署 完毕 。 接 下 来 使 用 SSH 工 具 登 录 Linux 服 务 器 ， 输 
入 的 任何 shell 命 令 都 会 即时 同步 到 服务 器 端 ， 见 图 
14-4。 





# chmod +x/home/test/OMAudit/OMAudit_agent.py 


umet lo "n 


an aBa sgt ed 
ATESA bin 





HASN? ax om 


图 14-4 ”系统 命令 即时 上 报 并 展示 


14.5 ”服务 器 端 功能 设计 

14.5.1 ”Django 配置 

安全 审计 功能 作为 OMServer 的 一 个 功能 扩展 ， 需 要 
Web 服 务 占 端 开 发 框架 (Django) 同样 做 些 变更 来 
支持 新 增 的 功能 。 由 于 该 功能 作为 项 目的 一 个 
App， 因 此 ， 第 一 步 需要 创建 一 个 App， 操 作 如 
F: 





# cd /data/www/OMserverweb 


# python manage.py startapp omaudit 





在 创建 的 omaudit 目 录 中 修改 urls.py， 添 加 App 的 
URL 了 映射 规则 ， 内 容 如 下 : 





from django.conf.urls.defaults import * 
urlpatterns = patterns ('omaudit.views', 
(r'^$', 'index') , 


(r'omaudit_pull/$', 'omaudit_pull') , # 映 射 到 
omaudit_pul11 方 法 ， 实 现 客户 端 数据 接收 








(r'omaudit run/$'. 'omaudit_run') ， # 了 映射 到 omaudit_run 
方法 ， 实 现 前 端 实时 查询 





) 





修改 App 的 models.py， 实 现 与 数据 库 的 天 系 映 射 ， 


内 容 如 下 : 


| | 


from django.db import models 
# Create your models here. 
class ServerHistory (models.Model) : 


id = models.IntegerField (primary key-True, 
db column-'ID'2 # Field name made lowercase. 


history id - models.IntegerField () 

history ip = models.CharField (max length-z45) 
history user = models.CharField (max length-45) 
history datetime - models.DateTimeField () 

db datetime - models.DateTimeField () 

history command = models.CharField (max length-765) 
class Meta: 


db table - u'server history' 





如 果 数 据 库 结构 已 经 存在 ， 可 以 通过 python 
manage.py inspectdb 命 令 来 生成 models 代 码 。 


最 后 修改 项 目 settings.py， 注 册 访 App 名称， 内 容 如 
F: 





INSTALLED_APPS = ( 


# 'django.contrib.admindocs', 


'public'. 
'autoadmin', 


'omaudit', # 添 加 此 行 ， 注 册 该 App 


14.5.2. 功能 实现 方法 


服务 喜 端 提供 了 两 个 关键 视图 方法 ， 分 别 实现 前 端 
实时 展示 Comaudit run) 及 数据 接收 
Comaudit pull) ， 下 面 针对 两 个 方法 进行 说 明 。 


(1) 前 端 实时 展示 Comaudit run) 方法 


关于 前 端 数据 实时 展示 的 实现 原理 ， 通 过 前 端 
JavaScript 的 SetInterval C) 方法 实现 定时 函数 调 

用 ， 首 次 请 求 默 认 返 回 ID 倒序 最 新 5 条 记录 ， 并 记 
录 下 LastID 〈 最 新 记录 ID) ， 后 面 的 定时 调用 将 传 
递 LastID 参 数 ， 数 据 库 查 询 条 件 是 “ID>LastID”， 从 
而 达到 实时 获取 最 新 记录 的 日 的 ， 同 时 也 支持 选择 
主机 来 作为 过 小 条 件 ， 功 能 实现 流程 图 见 图 14-5。 















全 查询 order by ID desc limit 5 一 一 一 一 
OX Ef 5m OR OD8[60) 一 一 一 一 人 





二 查询 Where ID>7 
OWE IDs 








poseen] 
图 14-5 ”前端 数据 展示 流程 图 
omaudit run () 方法 实现 源码 如 下 : 





= 事件 任务 前 端 展示 方法 
def omaudit run (request) : 


if not 'LastID' in request.GET: # 获 取 上 次 查询 到 的 最 新 记录 
ID 


LastID="" 

else: 
LastID=request.GET[ 'LastID' | 

if not 'hosts' in request.GET: # 获 取 选 择 的 主机 地 址 信息 
Hosts="" 

else: 


Hosts-request.GET['hosts'] 


ServerHistory_string="" 











host_array=target_host (Hosts, "IP") .split ('; ') # 调 
用 target_host 方 法 过 滤 出 IP 地 址 
if LastID=="0": # 符 合 第 一 次 提交 和 条件， 查询 不 
加 “id>LastID” 条 件 ， 反 之 
if Hosts=="": # 符 合 没 有 选择 主机 条 件 ， 查 询 不 
加 “history_ip in host array" 
HAE, RI 


ServerHistoryObj = ServerHistory.objects \ 
.Oorder by ('-id') [: 5] 

else: 
ServerHistoryObj = ServerHistory.objects \ 


.filter (history ip in-host array) .order by ('- 


id') [s 5] 
else: 
if Hosts=="": 
ServerHistoryObj = ServerHistory.objects \ 
.filter (id gt-LastID) .order by ('-id') 
else: 


ServerHistoryObj = ServerHistory.objects \ 


.filter (id gt=LastID， 
history ip in-host array) .order by ('-id') 








lastid-"" 

i-0 

for e in ServerHistoryObj: Thi p; fri Asi. 3 [RIZ BU Pg 
if i==0: 


lastid=e.id 


ServerHistory_string+="<font 
color=#cccccc>"+e.history_ip+ \ 


"</font>&nbsp; &nbsp; \t"+ e.history_user+"&nbsp; 
&nbsp; \t"+ \ 


str (e.db_ datetime) +"\t # «font 
color=#ffffff>"+e.history_command+"</font>*" 


it-1 


ServerHistory_stringt="@@"+str (lastid) "Hi xr" "re 
事件 记录 与 1astid， 





cA 
zu 


# 前 端 拆 分 


return HttpResponse (ServerHistory_string) 





(2) 数据 接收 Comaudit pull? 方法 


数据 接收 方法 相对 比较 简单 ， 即 将 接收 到 的 信息 直 
接 入 库 ， 实 现 的 源码 如 下 : 

















事件 任务 pu11 方 法 


def omaudit pull (request) : 





DH 


if request.method == 'GET': # 校 验 HTTP (GET) 请 求 参数 合 ; 








if not request.GET.get ('history_id', ''2: 
return HttpResponse ("history id null") 
if not request.GET.get ('history_ip', ''2: 


return HttpResponse ("history ip null") 


if not request.GET.get ('history user', ''): 
return HttpResponse ("history user null") 

if not request.GET.get ('history datetime', ''): 
return HttpResponse ("history datetime null") 

if not request.GET.get ('history_command', '') : 


return HttpResponse ("history command null") 





history id-request.GET['history id'] # 获 取 HTTP 请 求 
参数 值 


history ip-request.GET['history ip'] 

history user-request.GET['history user'] 

history datetime-request.GET['history datetime'] 
history command-request.GET['history command! ] 


historyobj = ServerHistory (history id-history id. 
\ # 数 据 入 库 (insert) 


history ip-history ip, \ 
history user-history user, \ 
history datetime-history datetime, \ 
history command-history command) 
try: 
historyobj.save () 


except Exception, e: 




















return HttpResponse ("入 库 失 败 ， 请 与 管理 员 联 
系 ! "+str (e) ) 











Response result-"OK" # 输 出 “0K” 字 符 作 为 成 功 标志 


return HttpResponse (Response result) 


else: 





return HttpResponse ("非法 提交 !") 


当然 ， 如 接 入 的 集群 过 于 庞大 ， 服 务 占 端 数据 库 会 
逐步 形成 脸 贷 ， 主 机 审计 信息 入 库 会 出 现 一 定 延 

时 ， 影 响 Linux 用 户 操作 体验 ， 一 个 可 行 的 方案 是 
采用 信息 异步 入 库 ， 即 移 将 信息 写 入 本 地 ， 再 通过 
上 报 程 序 后 从 提交 信息 ， 用 户 将 无 感知 。 


第 15 草 ”构建 分 布 式 质量 监控 平 合 


中 国 互联 网 呈 多 运营 商 并 存 的 发 展 格局 ， 一 个 注重 
用 户 体 验 的 业务 平台 ， 在 上 线 前 就 必须 解决 多 运营 
商 互 联 和 互通 的 问题 ， 例 如 电信 、 联 通 、 移 动 等 网 络 
的 接 入 。 目 前 有 两 个 常见 方案 ， 一 是 将 服务 右 资 源 
放置 不 同 运 营 商 的 DC， 二 是 直接 接 入 支持 BGP 协 
议 的 IDC。 在 此 之 后 ， 我 们 还 要 考虑 监控 不 同 运 曹 
网 络 访问 业务 平台 的 质量 问题 ， 例 如 骨干 网 络 路 由 
延 时 或 调度 不 合理 甚至 网 络 故障 ， 导 致 访问 业务 网 
络 出 现 延 时 、 丢 包 等 现象 ， 影 响 用 户 体验 。 因 此 ， 
必须 提供 一 种 分 布 式 (多 运营 商 支 持 ) 的 业务 服务 
质量 监控 机 制 。 本 章 通 过 实现 一 套 分 布 式 的 质量 监 
控 平 全 整体 进行 说 明 。 

















15.1 平台 功能 介绍 


分 布 式 质量 监控 平台 实现 了 多 个 数据 采集 点 〈 不 同 
IB BEER) 对 Web 业 务 平 台 进 行 探测 ， 采 集 的 信 
息 包 括 DNS 解 析 时 间 、 建 立 连接 时 间 、 准 备 传输 时 
间 、 开 始 传输 时 间 、 传 输 总 时 间 、HTTP 状 态 、 下 
RAARD FREER, Am HTTP] 
整个 生命 周期 。 分 析 这 些 数据 ， 可 以 帮助 我 们 快速 
发 现 〈 异 常 告警 ) 、 定 位 访问 业务 延 时 过 大 问题 。 
通过 RRDTOOL 做 数据 报表 展示 ， 报 表 类 型 包括 请 
求 响 应 时 间 、 下 载 速度 、 可 用 性 的 自 定义 、 日 、 
月 、 年 等 ， 可 以 让 管理 员 了 解 业 务 服 务 质 量 的 整体 
趋势 ， 平 台 截 图 见 图 15-1。 
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15.2 系统 构架 设计 


分 布 式 质量 监控 平台 由 三 种 不 同 功能 角色 组 成 ， 第 
一 种 为 数据 采集 探测 功能 ， 采 用 Python+pycurl 模 块 
实现 数据 的 采集 并 入 库 MySQL; 第 二 种 为 后 台 定 时 
rrdtool 作 业 ， 实 现 MySQL 数 据 导出 并 更 新 
RRDTOOL， 采 用 了 Python+rrdtool 模 块 实现 ;第 三 
种 为 Web 报 表 展 示 ， 采 用 Django+MVySQL+rrdtool 模 
块 实 现 ， 服 务 霹 端 采 用 了 Nginx+uwsgi 构 建 高 效 的 
Web 服 务 ， 根 据 管 理 员 发 起 的 请 求 条 件 输出 不 同类 
型 的 报表 。 系 统 架 构图 见 图 15-2。 


从 图 15-2 中 可 以 看 出 系统 的 整体 架构 ， 首 先 通 过 不 
同 采 集 点 问 业 务 服 务 集群 发 起 定时 探测 任务 ， 将 获 
取 的 啊 应 数据 入 库 MySQL， 寞 常 运 回信 息 将 触发 告 
警 。 功 能 模块 定时 从 MySQL 数 据 库 拉 取 数 据 做 
rrdtool update 操作， 为 后 续 的 报表 输出 提供 数据 文 
持 。 最 后 管理 员 通 过 前 端 Web 页 面 得 询 、 定 制 输出 
报表 ， 整 个 流程 结束 。 
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153 数据库 结构 设计 


15.3.1 数据库 分 析 
分 布 式 质量 监控 平台 有 两 张 数 据 库 表 ， 分 别 为 


webmonitor hostinfo A a a j 
其 中 webmonitor monitordata 的 FID 字 段 配置 外 键 关 


联 ， 表 信 Ain 明 如 下 : 
-webmonitor hostinfo: 业务 信息 表 


-webmonitor monitordata: 采集 数据 信息 表 


15.3.2 ”数据 字典 
webmonitor hostinfo 业 务 信 息 表 。 


段 名 数据 类 型 Ba ffs | 允许 非 空 自动 递增 备注 
ID int(11) NO | | % IT 





AppName 
URI 





l 

har(1 
IDC char(10) 
Alanntype har(1 
Alannconditions l 





webmonitor monitordata 采 集 数 据 信 息 表 。 
























































数据 类 型 RU | 允许 非 空 ahi 备注 
ID int(11) | | NO | 是 探测 结果 ID 
FID int(11) NO 业务 ID 
NAMELOOKUP TIME | double | NO | DNS fi trei [i] 
CONNECT TIME | double | | No | | 建立 连接 时 间 
PRETRANSFER_TIME | double | | No | 准备 传输 时 间 
STARTTRANSFER TIME double NO 开始 传输 时 间 
TOTAL TIME | double | | wo | | 传输 总 时 间 ” 
HTTP CODE char(80) | | No HTTP 状态 或 异常 信息 
SIZE DOWNLOAD | int(6) | | No | IT 载 数 据 包 大 小 
HEADER SIZE smallint(6) NO | HTTP 头 大 小 
REQUEST SIZE smallint(6) | | wo 请 求 包 大 小 
CONTENT LENGTH DOWNLOAD | smallint(6) | | NO | | 下载 HEKE 
SPEED_DOWNLOAD int(6) NO 下 载 速度 
DATETIME | int(11) | | NO | [探测 时 间 
MARK enum('0','1*) | | NO | | IH $f RRDTOOL 标记 





15.3.3 ”数据 库 模 型 


从 图 15-3 的 数据 库 EER 图 可 以 看 出 ， 表 
webmonitor monitordata 的 FID 字 段 被 设置 为 外 键 ， 
与 webmonitor_ hostinfo 表 中 的 ID 字段 进行 关联 ， 作 
为 采集 信息 数据 与 业务 信息 表 的 唯一 关联 。 


* ID INT(11) 
© AppName CHAR(20) 
@ URL CHAR( 100) S NAMELOOKUP. TIME DOUBLE 
人 SIDC CHAR(10) SCONNECT_TIME DOUBLE 
9 Alarm type CHAR(10) 人 PRETRANSFER, TIME DOUBLE 
9 Alarmconditions CHAR(20) 9 STARTTRANSFER, TIME DOUBLE 
* TOTAL. TIME DOUBLE 
d 9 HTTP. CODE CHAR(80) 


* SIZE DOWNLOAD INT (6) 

** HEADER, SIZE SMALLINT (6) 

© REQUEST. SIZE SMALLINT (6) 

** CONTENT, LENGTH, DOWNLOAD SMALLINT (6) 
© SPEED_DOWNLOAD INT(6) 

È DATETIME INT(11) 

È MARK ENUM(O'; 1) 





图 15-3 ”系统 数据 库 模 型 


15.4 JD ^ I SUE 

15.4.1 系统 环境 说 明 

前 面 介绍 了 分 布 式 质量 监控 平台 的 三 种 角色 ， 为 了 

便于 读者 理解 ， 下 面 对 不 同 角 色 的 环境 、 实 现 方法 

进行 详细 说 明 ， 环 境 设 备 角 色 表 如 表 15-1 所 示 。 
表 15-1 系统 环境 说 明 表 


Me D 主机 名 


Web Server 
fri | 


| 
型 | 











IP 还 境 说 明 


Django-uwsgi-rrdtool -MySQL HMA 
$ 











012-07-010 


rrdtool 
SiH 
K 





| 
012-07-010 | 
$ 
| 
| 
| 


un "5 n u^ 
| 之 | zz 
t eiat 


013-08-021 


15.4.2 ”数据 采集 角色 


数据 采集 功能 角色 需要 完成 两 个 任务 : 一 为 采集 远 
程 业 务 服务 集群 HITP 响 应 数据 ， 并 将 数据 写 入 远 
程 MySQL 数 据 库 ; 二 为 提供 异 彰 HITP 啊 应 告警 文 
持 。 本 示例 部 署 192.168.1.20、192.168.1.21 主 机 ， 

分 别 模拟 电信 与 联通 网 络 。 下 面 详 细 说 明 。 


数据 采集 端 只 有 两 个 Python 文件 ， 一 个 为 
config.py， 其 定义 了 数据 库 信息 、 运 营 丙 网 络 代 
码 、 连 接 超 时 时 间 等 ， 内 容 如 下 : 


[ /data/detector/config.py ] 











# -*- coding: utf-8 -*- 


# 定 义 MySQL 数 据 信 息 





DBNAME- 'WebMonitor ' 
DBUSER-'webmonitor user' 
DBPASSWORD='SKJDH3745tgDTS' 
DBHOST='192.168.1.10' 


# 修改 成 探测 运营 商 网 络 代码 《〈 重 要 





Y 





# settings.py 中 定义 IDC={'ct': ' 电 信 '，'cnc': ' 联 通 '，'cmcc': '% 
动 '} 


# “ct” 代 表 电 信 探 测 点 网 络 ， 联 通 网 络 修 改 成 “cnc”， 移 动 网 络 修改 成 “cmcc”， 
其 他 类 似 


IDC-"ct" 
# 连 接 的 等 待 时 间 
CONNECTTIMEOUT = 5 


# 请 求 超 时 时 间 








<< 





TIMEOUT = 10 

# 告 警 邮件 地 址 

MAILTO="useri@domain.com, user2@domain.com" 
# 告 警 手机 号 


MOBILETO-"'136****3463" 





另 一 个 为 提供 业务 服务 质量 采集 功能 的 
runmonitor.py， 采 用 了 pycurl 模 块 实现 ， 通 过 定义 
setopt O 方法 定量 参数 ， 模 拟 一 个 HTTP 请 求 器 
(request) ， 也 可 以 理解 成 一 个 简单 的 浏览 器 。 再 











通过 getinfo () 定义 四 定量 E HI HA 
(response) , o irs Ufa] JW 


MORD 


[/data/detector/runmonitor.py ] 























Curlobj = pycurl.Curl O # 创 建 Cur1 对 象 








Curlobj.setopt (Curlobj.URL, url) # 定 义 请 求 的 URL 


# 定 义 Setopt 请 求 器 常量 ， 各 参数 详细 说 明 见 2 .4 节 














Curlobj.setopt (Curlobj.CONNECTTIMEOUT. CONNECTTIMEOUT ) 
Curlobj.setopt (Curlobj.TIMEOUT. TIMEOUT) 
Curlobj.setopt (Curlobj.NOPROGRESS, 0) 
Curlobj.setopt (Curlobj.FOLLOWLOCATION, 1) 
Curlobj.setopt (Curlobj.MAXREDIRS, 5) 
Curlobj.setopt (Curlobj.OPT_FILETIME, 1) 
Curlobj.setopt (Curlobj.NOPROGRESS, 1) 

bodyfile = 

open (os.path.dirname (os.path.realpath ( file )) 
*"/ body", "wb") 

Curlobj.setopt (Curlobj.WRITEDATA, bodyfile) 
Curlobj.perform © 

bodyfile.close () 


# 定 义 getinfo 响 应 返回 常量 ， 各 参数 详细 说 明 见 2 .4 节 











self .NAMELOOKUP_TIME=Decimal (str (round (Curlobj.getinfo (Curlol 
20 J 


Self.CONNECT TIME-Decimal (str (round (Curlobj.getinfo (Curlobj.!: 
2) ) ) 


self .PRETRANSFER_TIME=Decimal (str (round (Curlobj.getinfo (Curl 
2) ) ) 


self .STARTTRANSFER_TIME=Decimal (str (round (Curlobj.getinfo (Cu 
2) ) ) 


self.TOTAL TIME = 
Decimal (str (round (Curlobj.getinfo (Curlobj.TOTAL TIME) ， 
2) ) ) 


self.HTTP CODE = Curlobj.getinfo (Curlobj.HTTP CODE) 





最 后 ， 配 置 系统 crontab，5 分 钟 作 一 次 数据 采集 ， 
内 容 如 下 : 





*/5 * * * * /usr/bin/python /data/detector/runmonitor.py > 
/dev/null 2>&1 





15.4.3 rrdtool 作业 


rrdtool 作 业 实 现 从 MySQL 导 出 数据 并 更 新 到 rrdtool 
中 ， 以 便 为 后 面 的 rrdtool 报 表 功 能 提供 数据 支持 。 
具体 方法 是 通过 查询 webmonitor_ monitordata 表 字段 
MARK 为 '0' 的 记录 ， 再 将 数据 通过 

rrdtool.updatev () 方法 做 rrdtool 更 新 ， 最 后 更 新 数 
据 库 标志 MARK 为 '1'。rrdtool 作 业 部 署 在 任 一 台 安 
装 rrdtool 模 块 的 主机 上 即 可 ， 本 示例 的 rrdtool 作 业 
与 Web Server 部 著 在 同一 台 主 机 上 。 部 分 关键 源码 














如 下 : 


[/data/www/Servermonitor/webmonitor/updaterrd.py ] 








def updateRRD (self, rowobj) : # 更 新 rrd 文 件 方法 


if str (rowobj["HTTP_CODE"]) =="200": # 非 HTTP200 状 
态 标 志 4 1” 


unavailablevalue=0 
else: 

unavailablevalue=1 
FID=rowobj["FID"] 


time_rrdpath=RRDPATH+'/'+str (self.getURL (FID) ) 
+'/'+str (FID) +'_'+\ 











str (self.rrdfiletype[0]) +'.rrd' # 指 定 三 个 特性 数据 
rrdtool 文 件 位 置 


download_rrdpath=RRDPATH+'/'+str (self.getURL (FID) ) 
+'/'+str (FID) +'_'+\ 


str (self.rrdfiletype[1]) +'.rrd' 
unavailable_rrdpath=RRDPATH+'/'+str (self.getURL (FID) ) 
+'/'+str (FID) +'_'+\ 

str (self.rrdfiletype[2]) +'.rrd' 

try: # 将 查询 的 MySQL 记 录 更 新 到 rrd 文 件 


rrdtool.updatev (time rrdpath, '%s: %s: %S: %s: 
%S: %s' 96 (str Crowobj["DATETIME"]) N 


,Str (rowobj["NAMELOOKUP TIME"]), 
str (rowobj["CONNECT TIME"]), 

str (rowobj["PRETRANSFER TIME"]), 
str (rowobj ["STARTTRANSFER_TIME"]) , 
str (rowobj["TOTAL_TIME"]) ) ) 


rrdtool.updatev (download rrdpath,. '%s: 96s' 96 
(str Crowobj ["DATETIME"]) , \ 


str (rowobj["SPEED_DOWNLOAD"]) ) ) 


rrdtool.updatev (unavailable_rrdpath, '%s: %s' 96 
(str Crowobj 


["DATETIME"]) \ 

, str Cunavailablevalue) ) ) 

self.setMARK (rowobj["ID"]) # 更 新 数据 库 标 志 
except Exception, e: 


logging.error ('Update rrd error: '+str (e) ) 








| 


def setMARK (self, id) : # 更 新 已 标志 记录 方法 
try: 


self.cursor.execute ("update 
webmonitor monitordata set \ 


MARK='1' where ID='%s'"% ( id) D 
self.conn.commit () 
except Exception, e: 


logging.error ('SetMark datebase 
error: '*str (e) ) 





| 


def getNewdata (self) : # 获 取 未 标志 的 新 记录 方法 
try: 


self.cursor.execute ("select ID, FID, 
NAMELOOKUP TIME, CONNECT . 


TIME. PRETRANSFER TIME. STARTTRANSFER TIME. TOTAL TIME. 
HTTP CODE, SPEED DOWNLOAD, DATETIME from 
webmonitor monitordata where MARK-'Q'") 


for row in self.cursor.fetchall ©: 


self.updateRRD (row) 
except Exception, e: 


logging.error ('Get new database 
error: '*str (e) ) 





同 目录 下 的 config.py 为 rrdtool] 作 业 配 置 文件 ， 定 义 
了 数据 库 连 接 信息 及 项 目 路 径 等 信息 ， 可 根据 实际 
情况 相应 修改 ， 最 后 配置 系统 crontab， 建 议 与 采集 
同一 执行 频率 ， 如 每 5 分 钟 ， 内 容 如 下 : 





*/5 * * * * /usr/bin/python 
/data/www/Servermonitor/webmonitor/updaterrd.py » /dev/null 
2>&1 


_ TS | 


15.5 ”服务 器 端 功 能 设计 


服务 器 端 以 Web 的 形式 作为 服务 平台 ， 以 Django 作 
为 开发 框架 ， 结 合 rrdtool 模 块 实现 了 业务 添加 
(rrdtool create) 、 报 表 绘 图 (rrdtool graph) 等 功 
能 。 另 外 ， 项 目 改 用 直接 操作 SQL 方式 来 代 符 
Django 的 ORM， 为 熟悉 SQL 的 人 员 提 供 另 一 种 选 
择 。 下 面 详细 介绍 项 目 配置 及 功能 实现 方法 。 


15.5.1 ”Django 配置 


作为 一 个 新 Django 项 目 ， 第 一 步 需 要 创建 一 个 项 
H , 操作 如 下 : 








# cd /data/www 


# django-admin.py startproject Servermonitor 





在 创建 的 omaudit 目 录 中 修改 urls.py， 添 加 App 的 
URLFAN RN, AAUP: 





from django.conf.urls.defaults import * 


urlpatterns = patterns ('webmonitor.views', 




















(r'^$', 'index') , # 上 映射 到 index 方 法， 实现 前 端 首页 泻 染 
(r'add do/', 'adddo') , # 了 上 映射 到 adddo 方 法 ， 实 现 新 增 业 务 提 
交 服 务 器 端 处 理 











(r'add/', 'add') ， # 映 射 到 add 方 法 ， 实 现 新 增 业 务 页 面 演 染 


(r'monitorlist/', 'monitorlist') , # 映 射 到 monitorlist 
方法 ， 实 现 前 端 扫描 记录 列表 展示 
































) 





修改 项 目 settings.py， 关 键 配 置 项 如 下 : 





import os 


BASE DIR = os.path.dirname (os.path.abspath ( file 22) 





SYSTEM_NAME=" 分 布 式 质量 监控 平台 V1.0" # 定 义 系统 名 称 





IDC-['ct': 'Hifs',. 'cnc': ' 联 通 '，'cmcc': ' 移 动 '} # 定 义 采 集 IDC 





RRDPATH=BASE_DIR+"/rrd" #rrdtool rrd 文 件 存储 路 径 
PNGPATH=BASE_DIR+"/site_media/rrdtool" #rrdtool 生成 png 存 储 
路 径 


# 定 义 webmonitor app 路 径 ， 调 用 graphrrd,sh 用 rrd 绘 图 相关 参数 








MAINAPPPATH=BASE_DIR+"/webmonitor" 
# 


TIME ALARM-1 # 定 义 “ 业 务 请 求 响应 时 间 统 计 ” 图 表 告 警 线 阔 值 (HRULED ， 
单位 为 秒 


TIME YMAX=1 # 定 义 “ 业 务 请 求 响应 时 间 统 计 ” 图 表 Y 轴 最 大 值 ， 单 位 为 秒 


DOWN_APEED YMAX=8388608 # 定 义 “ 业 务 下 载 速 度 统 计 ” 图 表 Y 轴 最 大 值 ， 
单位 为 字 节 
























































项 目 包括 两 个 App， 其 中 ，webmonitor 为 功能 应 
用 ，publicclass 用 于 提供 公共 方法 调用 。 以 下 结合 
具体 功能 对 两 个 App 进 行 介绍 。 


15.5.2. ”业务 增加 功能 


业务 增加 模 英 后 台 实 现 了 两 个 功能 点 : 一 为 将 业务 
信息 写 和 MySQL 数据 库 ， 包 括 业 务 名 称 、 监 控 

URL、 告 管 通知 方式 、 探 测 点 及 规则 等 ， 二 为 创建 
所 选择 的 探测 点 三 个 图 表 对 应 的 rrdtool 文 件 ， 图 表 


包括 业务 请 求 啊 应 时 间 统 计 、 业 务 下 载 速度 、 业 务 
可 用 性 统计 。 前 端 功 能 截图 如 图 15-4 所 示 。 


通知 方式 : SiR dt © MSN/Yahoo 
SERO: Bih Nm m 
FEM: 200 术 六 码 。 自 定 义 扎 回电: 











K|15-4 前端 功能 截图 


创建 rrd 文 件 功能 利用 了 rrdtoo] 模 块 的 create () 方法 
实现 ， 实 现 源 码 如 下 : 








= 创建 rrd 


-create rrd (url) 


def create rrd (url) : 


URL=url 





domain=GetURLdomain (url) # 调 用 GetURLdomain () 方法 获取 
URL 域 名 部 分 


HID-[] 


cur time-str (int (time.time © ) )  ## 获 取 当 前 Linux 时 间 惟 ， 
作为 rrdool.create 方 法 的 start 参 数值 














HID=getID (URL) # 调 用 getID〈) 方法 获取 URL 对 应 的 所 有 采集 点 
ID 
for id in HID: # 裔 历 采 和 集 点 ID 
try: 


# 参 数 指定 rrd 文 件 路 径 ， 如 “项 目 根 目 
3x/rrd/www.baidu.com/17 time.rrd"; 





4 _ step 指定 步 长 ， 设 置 为 300 秒 ， 即 每 隔 5 分 钟 收 到 一 个 值 ; 
start 指 定 第 一 条 记录 的 起 


# 始 时 间 ， 使 用 cur_time 变 量 指定 




















rrd time-rrdtool.create (settings.RRDPATH+'/'+str (domain) 
+'/'+str Cid) + \ 


' time.rrd', '--step', '300', '--start', 
cur_time, 


'DS: NAMELOOKUP_TIME: GAUGE: 600: 0: 
U', # 定 义 数据 5 个 数据 源 (DS) 


'DS: CONNECT TIME: GAUGE: 600: 0: U', 
#GAUGE 计 量 类 型 ， 收 到 数据 后 








# 直 接 
存 入 RRD; 


'DS: PRETRANSFER TIME: GAUGE: 600: 0: 
U', #'600'’ 为 心跳 值 ， 即 两 
# 个 刻度 无 效 时 ， 使 用 


'DS: STARTTRANSFER TIME: GAUGE: 600: 0: 
U', AZUNKNOWNJH7S; 0: U 


# 输 入 数据 的 界限 


'DS: TOTAL TIME: 


"RRA: AVERAGE: 0. 


BUS TR CRRA) ， 分 别 为 平均 、 


数据 


"RRA: 


参数 说 明 可 参考 3 .2 节 案 例 


' RRA: 


"RRA: 


"RRA: 


"RRA: 


"RRA: 


"RRA: 


"RRA: 


"RRA: 


"RRA: 


"RRA: 


if rrd_time: 


AVERAGE: 0. 


AVERAGE: 0. 


AVERAGE: 0. 


MAX: 


MAX: 


MAX: 


MAX: 


MIN: 


MIN: 


MIN: 


MIN: 


GAUGE: 600: 0: U', 


5: 1: 600', # 定 义 数据 存 





5: 6: 700', # 方 式 ， 其 他 


# 源码 说 明 
5: 24: 775 


5: 288: 797', 


0.5: 1: 600', 


0 . 


0 . 


5: 


5: 


6: 700', 
24: 775', 
: 444: 797', 
: 1: 600', 

: 6: 700', 

: 24: 775', 


: 444: 797') 


logging.error (rrdtool.error © ) 





(其 他 两 张 图 表 rrdtool.create 方 法 类 似 ， 此 处 省 略 ) 





except Exception, e: 


logging.error ('create rrd error! '+str (e) ) 


A 


FJ *www.baidu.com" AV 25398 Jn Kaa, HTH 

rrd/www.baidu.com”， 输 出 已 生成 的 rrd 文 件 清单 ， 

见 图 15-5。 前 缀 *17_、18_” 代 表 不 同 运营 商 探测 点 
ID。 对 采集 端 而 言 ， 一 个 运营 商 被 视 为 一 个 独立 业 
务 ， 产 生 的 数据 也 是 独立 的 。 比 如 ， 在 增加 业务 时 
选择 了 电信 、 联 通 两 个 运营 商 探测 点 ， 对 该 业务 做 
数据 采集 时 ， 将 产生 两 份 数据 。 

- 1 root root 71800 lun 28 16:30 17.download.rrd 


1 root root 352280 Jun 28 16:39 17 time.rrd 
- 1 root root 71800 Jun 28 16:39 17 unavailable.rrdá 


- 1 root root 71800 Jun 28 16:30 18 download.rrd 
- 1 root root 352280 Jun 28 16:30 18 time.rrd 
- 1 root root 71800 Jun 28 16:38 18 unavailable.rrd 





图 15-5 AE RAN mE E E Ad 05 fF 
15.5.3 NL AS E JJ Be 


分 布 式 质量 监控 平台 提供 了 非常 丰富 的 报表 功能 ， 
常规 报表 包括 最 近 3 小 时 、 当 天 、 当 前 月 、 当 前 
年 ， 目 定义 报表 根据 选择 的 时 间 范 围 定 制 。 在 页 面 
中 提交 前 保持 起 始 时 间 与 结束 时 间 为 空 则 为 常规 报 
表 ， 最 新 3 小 时 报表 具体 见 图 15-6。 
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图 15-6 ”输出 业务 “当前 (最 新 3 小 时 ) ”报表 


目 定义 报表 根据 选择 的 时 间 范 围 进行 rrdtool 便 询 ， 
结果 如 图 15-7 所 示 。 
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图 15-7 输出 目 定 义 时 间 报 表 


两 种 报表 实现 原理 是 通过 定制 graph 方 法 的 “-- 
start" 参 数 来 实现 ， 如 第 规 报表 中 当前 、 日 、 月 、 年 
图 表 对 应 分 别 为 “3h、-1day、-lmonth、-1year”， 
参数 “--end” 为 当前 时 间 ; 目 定 义 报 表 采 用 提交 的 起 
始 时 间 与 结束 时 间 来 对 应 “--start” 与 “<--end” 参 数 。 平 
frrdtool graph 生 成 网 表 时 要 求 有 中 文 文 持 ， 但 
Python ]rrdtool EE BUE 33 2&*--font X9, A Y f 
决 此 问题 ， 最 终 采 用 原生 rrdtool 命 令 行 方案 ， 在 
Django 中 视图 中 通过 os.system O 方法 来 调用 ， 实 
现 关 键 代码 如 下 : 


[/data/www/Servermonitor/webmonitor/graphrrd.sh ] 











#! /bin/sh 

rrdfile-$1 # 接 收 rrdtool 文 件 路 径 
pngfile=$2 # 接 收 生 成 png 图 片 路 径 
rrdtype-$3 # 接 收 rrd 类 别 ， 区 分 定义 的 三 种 网 表 
appname-$4 # 接 收 业务 名 称 


GraphStart=$5 # 接 收 rrdtoo1 起 始 时 间 

















GraphEnd-$6 # 接 收 rrdtoo1 结 束 时 间 
ymax-$7 # 接 收 Y 轴 最 大 值 
Alarm=$8 # 接 收 告警 红线 值 


# 定 义 两 种 字体 




















rrdtool font msyhbdz"/data/www/Servermonitor/site media/font/ms 


rrdtool font msyhz"/data/www/Servermonitor/site media/font/msyh 


if [ "$rrdtype" == "time" ]; then 


/usr/local/rrdtool/bin/rrdtool graph ${pngfile} -w 500 -h 
207 \ 


-n TITLE: 9: ${rrdtool_font_msyhbd} \ # 定 义 标 题字 体 

















-n UNIT: 8: $(rrdtool font msyh] \ # 定 义 Y 轴 单位 字体 














-n LEGEND: 8: $(rrdtool font msyh] \ # 定 义 图 例 字 体 




















-n AXIS: 8: ${rrdtool_font_msyh} \ # 定 义 坐 标 轴 字 体 








-C SHADEA#808080 \ # 左 上 边框 颜色 








-c SHADEB#808080 \ # 右 上 边框 颜色 


-c FRAMEZ006600 \ # 数 据 标记 说 明 边 框 颜色 











-c ARROW#FF0000 \ #X、Y 轴 箭头 颜色 























-C AXIS#000000 \ #X、Y 轴 线 颜 色 














-c FONT#000000 \ # 图 形 所 有 字体 颜色 








-c CANVAS#eeffff \ # 图 形 数据 区 域 背景 颜色 








-C BACKZffffff \ # 图 形 背 景 〈 不 含 数据 区 域 ) 颜色 








--title "业务 请 求 响应 时 间 统 计 -${fappname}"” -v "速度 〈 秒 ) " \ 
图 表 标 题 


--start ${GraphStart} \ # 图 表 起 始 时 间 

















--end ${GraphEnd} \ # 图 表 结 束 时 间 








--lower-limit=0 \ # 限 制 Y 轴 的 下 限 

















--base=1024 \ # 修 改 1k 对 应 的 刻度 ， 默 认为 1000 








-u ${ymax} -r \ # 定 义 Y 轴 最 大 值 














DEF: NAMELOOKUP_TIME=${rrdfile}: NAMELOOKUP_TIME: AVERAGE 
\ 定义 数据 源 及 合并 统计 





# 类 型 为 AVERAGE 


# 


DEF: CONNECT TIME-$(rrdfilej: CONNECT TIME: AVERAGE \ 
DEF: PRETRANSFER_TIME=${rrdfile}: PRETRANSFER TIME: AVERAGE \ 


DEF: STARTTRANSFER_TIME=${rrdfile}: STARTTRANSFER TIME: 
AVERAGE \ 


DEF: TOTAL_TIME=${rrdfile}: TOTAL_TIME: AVERAGE \ 


COMMENT: " ^n" \ 








AREA: TOTAL TIMEZ0011ff: 总 共 时 间 \ # 用 7 方块 7 的 形式 来 绘制 “总 共 
时 间 “ 数 据 


#GPRINT 定 义 图 表 下 方 的 文字 说 明 ， 参 数 TOTAL_TIME 定 义 数据 来 源 变 量 ;， LAST 
定义 合并 (统计) 类 型 ， 


# 指 显示 当前 值 ; 
# 其 他 部 分 为 输出 的 文字 及 数值 格式 


GPRINT: TOTAL TIME: LAST: "当前 \: 960.21f %Ss" \ 





























GPRINT: TOTAL TIME: AVERAGE: "平均 \: %0.21f %Ss" \ 
GPRINT: TOTAL TIME: MAX: "最 大 \: 949.21f %Ss" \ 
GPRINT: TOTAL TIME: MIN: "最 小 \: %0.21f %Ss" \ 


COMMENT: " ^n" N 





LINE1: NAMELOOKUP TIMEZeeee00: 域名 解析 # 用 “线条 ”的 形式 来 绘 
制 “ 域 名 解析 “数据 


GPRINT: NAMELOOKUP TIME: LAST: "当前 \: %0.21f %Ss" \ 








GPRINT: NAMELOOKUP TIME: AVERAGE: "平均 \: %0.21f *Ss" \ 
GPRINT: NAMELOOKUP TIME: MAX: "最 大 \: %0.21f %Ss" \ 
GPRINT: NAMELOOKUP_TIME: MIN: "最 小 \: %0.21f %Ss" \ 
COMMENT: " An" N 

(连接 时 间 ”″ “开始 传输 ” “第 一 字 节 ?定义 与 “域名 解析 "， 此 处 省 略 ) 


HRULE: ${Alarm}#ff0000: " (告警 值 ) " N # 输 出 告警 红线 值 














COMMENT: " ^n" N 
COMMENT: " ^n" N 


COMMENT: "\t\t\t\t\t\t\t\t\t\t 最 后 更 新 \: $ (date '+%Y-%m-%d 
%H\: %M') Nn" 


(其 他 两 张 图 表 rrdtool graph 参 数 类 似 ， 此 处 省 略 ) 











生成 的 图 表 png 文 件 在 前 疾 页 面 中 进行 引用 : 





# 下 面 为 泻 染 后 的 HTML 标 签 


«img srcz"/site media/rrdtool/www.baidu.com/15 time.png?, 
Math.random () ; " widthz"597" /> 
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OManager 与 OMServer 平 台 实 现 了 相同 的 功能 ， 
en AS SL eL. 
的 ，OMServer 是 B/S 结 构 〈Web 版 本 ) 的 。C/S 结 构 
相对 于 B/S 结构 ， 具 有 交互 性 更 强 、 存 取 模 式 更 加 
安全 、 网 络 通 信 量 低 、 啊 应 速度 更 快 、 利 于 处 理 大 
量 数据 、 可 调用 操作 系统 API 等 特点 。 当 然 ， 它 也 
有 局 限 性 ， 比 如 要 求 相 对 统一 的 人 硬件、 操作 系统 
(版 本 、 类 型 ) 等 ， 由 于 在 公司 内 部 局 域 网 使 用 且 
使 用 人 群 比较 固定 ， 这 些 条 件 基本 都 可 以 满足 。 
OManager 是 基于 Python 的 wxpython GUI C EE Hl P 
FH) 开发 ， 有 具备 路 平台 的 能 力 ， 比 如 在 Linux 梨 
AGE, VATA a ea BA) RRA, CES 
支持 的 系统 有 Windows XP. Windows 2000 或 
Windows 2003, Windows 7 等 ; 文 持 Linux 2.6 或 以 
EW, — Ubuntu 等 发 行 版 。 下 面 对 平台 
进行 合同 四 














16.1 平台 功能 介绍 


与 OMServer 一 样 ，OManager 同 样 实现 了 一 个 集中 
式 的 Linux 集 群 管理 基础 平台 ， 文 持 模块 扩展 功 

能 ， 管 理 员 可 P fc OManager T f EAM RETE SS T 
块 ， 其 中 客户 端 模块 采用 XRC (XML Resource) X 
式 动态 定制 ， 服 务 占 端 则 与 OMServer 共 享 一 套 主 控 
服务 器 六 。OManager 实 现 日 常 运 维 远 程 操作 、 文 件 
分 发 、 在 线 升 级 等 功能 ;安全 方面 ， 采 用 加 密 
(CRC4 算 法 ) 指令 传输 、 操 作 日 志 记 录 、 个 性 化 配 
置 等 ， 效 率 方面 ， 管 理 员 只 需 选 择 操 作 目 标 对 象 及 
操作 模块 即 可 完成 一 个 现 网 变更 任务 。 另 外 在 用 户 
体验 方面 ， 模 拟 Linux 终 端 效 果 ， 接收 返回 串 ， 并 
使 用 Psyco 模 块 对 Python 运行 程序 进行 加 速 。 任 何人 
都 可 以 根据 目 身 的 业务 特点 对 OManager 平 人 台 进 行 扩 - 
展 ， 现 已 支持 XML 与 现 有 资产 平台 进行 对 接 。 平 台 
登录 、 管 理 界面 见 图 16-1 和 图 16-2。 
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图 16-2 平台 主 界 面 


16.2 ”系统 构架 设计 
OManager 平 台 采 用 了 两 层 设计 模式 。 


第 一 层 为 客户 端 交互 层 ， 采 用 了 
wxpython+Xrc+Ipyc+MVySQL 等 技术 ， 实 现 了 客户 端 
与 主 控 服 务 器 端 直 连通 信 ，rpyc 分 布 式 计算 框架 负 
贡 传 输 与 计算 ， 传 输 采 用 加 密 〈RC4 算 法 ) 方式 ， 
保证 平台 整体 安全 性 ; 

第 二 层 为 集群 主 控 端 服务 层 ， 支 持 Saltstack、 
Ansible、Func 等 平台 ， 日 具备 多 机 服务 的 能 力 。 系 
统 架 构图 见 图 16-3 














[wx | : “ ! 
| RGR H | 
重启 服务 | . | 

! Saltstack E i « 
| rpycfé $ T i" Anssble » ye > " 


| FRA) 
&—mE rpyc:11511 W-ImE 


图 16-3 ”系统 架构 图 


从 图 16-3 中 可 以 看 出 系统 两 个 层次 的 结构 ， 首 先 管 
理 员 在 办 公 电 脑 安 装 OManager 客 户 端 软 件 包 ， 作 为 
pyc% PF vin el rpychR HF ie IK DBS FES, FEB 
通过 “RC4+b64encode+ 密 钥 key” 进 行 加 密 ，rpyc 服 
务 器 病 同 时 也 是 Saltstack、Ansible、Func 等 的 主 控 








| iM) 











闸 ， 主 控 端 将 接收 的 数据 通过 “RC4+b64decode+ 密 
钥 key” 进 行 解 密 ， 解 析 成 OManager 调 用 的 任务 模 

块 ， 结 合 Saltstack、Ansible 或 Func 向 目标 业务 服务 
器 集群 发 送 执行 任务 ， 执 行 完 毕 后 ， 对 返回 的 执行 
结果 做 加 密 / 解 密 处 理 ， 最 后 返回 给 客户 端 ， 整 个 任 
务 模块 分 友 执 行 流程 结 











163 ”数据 库 结 构 设 计 
16.3.1 数据 库 分 析 


OManager 平 台 采 用 了 开源 数据 库 MySQL 以 存储 数 
据 ， 数 据 库 名 为 OManager， 数 据 库 总 共有 3 张 表 ， 
表 信 息 说 明 如 下 。 


"upgrade: 系统 升级 表 ; 
‘users: HPK; 

user logs: # HEK. 
16.3.2 ”数据 字典 

1) upgrade 系 统 升级 表 。 


允许 非 空 




















Datatime 操作 日 期 


3) users 用 户 表 。 


RES | ”自动 递增 





| 

NO | 
NO | erm 5 uu 

NO | 

| 





NO 





16.3.3 ”数据 库 模 型 


考虑 到 平台 的 通用 性 ，OManager 的 数据 库 结 构 设 计 
得 非常 简单 ， 只 涉及 账号 及 操作 日 志 等 基础 表 ， 平 
侣 中 服务 器 分 类 及 清单 来 源 于 企业 资产 库 生 成 的 

XML 文件 。 数 据 库 中 users 表 存储 了 管理 员 的 账号 信 
li; user logs 表 存储 了 管理 员 的 操作 日 志 ， 表 中 字 
段 “user” 配 置 外 键 ， 与 users 表 中 的 “admin” 字 段 进行 
关联 ，upgrade 表 存储 OManager 的 版 本 号 ， 系 统 数 


据 库 模型 见 图 16-4。 
Duers v upgrade Y wee c 
? admin CHAR(20) ? version CHAR(S) | " 








id INT(S) 
9 passwd CHAR(32) ® user CHAR(10) 
9 Privatekey CHAR(32) HH 一 一 一 一 一 一 一 一 1 * event CHAR(255) 
9 privileges CHAR(62) (一 一 一 一 一 一 一 —H © Datatime TIMESTAMP 
v v 
|PRIMARY PRIMARY 
Datatime 
USER, NID 





图 16-4 ”系统 数据 库 模 型 


16.4 ARABS 
16.4.1 系统 环境 说 明 


OManager 由 wxPython2.8、rpyc-3.2.3、psyco-1.6 等 
开源 组 件 构建 。 为 了 便于 读者 理解 ， 下 面 对 平 台 的 
运行 环境 、 安 闭 部 着 、 开 有 环境 优化 等 进行 详细 说 
明 ， 环 境 设 备 角 色 表 如 表 16-1 所 示 。 


表 16-1 系统 环境 说 明 表 


角色 主机 名 | IP 环境 说 明 
] 12013-08 68.1 











Saltstack | Ansible | Func 1:1 rpye I 55 2558 








N2013-08-020 | 1921 
OManager DELL-PC | 192.168.1.101 wxPython, rpyc 


16.4.2 ”系统 环境 搭建 


OManager 平 台 基 于 多 种 Python 第 三 方 模块 实现 ， 包 
括 wxpython、rpyc、MYVyYSQL-python、psyco、 
pywin32 和 等 ， 这 些 开 源 组 件 无 论 是 在 开发 效率 还 是 
运行 速度 方面 都 万 得 了 很 好 的 口碑 ， 尤 其 容易 上 
手 ， 可 以 做 到 快速 开发 、 快 速 实 现 。wxPython 官 网 
提供 了 非常 丰 晤 的 demo 代 码 ， 可 以 帮助 开 友 人 员 做 
到 边 学 边 用 ， 下 面 介绍 平台 所 需 模块 及 功能 说 明 。 


-MySQL-python-1.2.4b4.win32-py2.7.exe: Python 访 
问 MySQL 的 API 模 块 。 


psyco-1.6.win32-py25.exe: Python 程序 提速 模块 。 











.pyinstaller-2.0.zip: Python 程序 打包 工具 ， 安 装 包 
制作 推荐 使 用 Smart Install Maker。 


-pywin32-218.win32-py2.7.exe: Windows 系 统 API 访 
问 库 。 


‘rpyc-3.2.3.win32.exe: 分 布 式 计算 框架 。 


-wxPython2.8-win32-docs-demos-2.8.12.1.exe: 
wxPython Demo (PJM) 。 


-wxPython2.8-win32-unicode-2.8.12.1-py27.exe: 
Python GUI 图 形 库 。 


平台 重点 文件 及 目录 说 明 见 图 16-5。 


d data 平台 数据 目录 ， 存 放 配 置 文 件 、 服 务 器 信息 XML 文 件 等 
4 img 平台 图 标 目录 

Jy include Python 头 文件 存放 目录 ， 编 译 环境 用 到 

4» Module 平台 功能 模块 . XRC 存 放 目 录 


di numbers 平台 帐号 密 钥 存放 目录 

Js tmp 平台 临时 目录 ， 存 放 升 级 包 撕 述 XWL 文 件 
€? MD5sum.eexe 文件 MD5 计 算 工 具 

m| OManager.exe “平台 入 口 可 执行 文件 


图 16-5 ”系统 目录 结构 及 说 明 





16.5 “系统 功能 模块 设计 
16.5.1 用 户 登 录 模 块 


OManager 平 人 台 的 登录 采用 了 双重 安全 校 验 机 制 : 一 
种 为 传统 的 用 户 名 与 密码 匹配 ， 另 一 种 为 密 钥 文件 
校 验方 式 ， 实 现 的 原理 是 在 密 钥 文件 中 输入 任意 随 
机 字符 串 ， 通 过 平台 目 带 的 md5sum.exe 工 上 共计 算出 
该 文件 的 mnd5， 将 生成 的 md5 字 符 串 更 新 到 

users 《用 户 表 ) 管理 员 账 号 对 应 的 Privatekey 字 

段 ， 以 root 用 户 的 密 钥 humbers/root.pem 为 例 ， 使 用 

方法 见 图 16-6 和 图 16-7。 








Npython sOManager sOManager?HD5 s exe nunbers/root. pe 





U 
nN NO SS 
R115082536da7863426817e OT INEF a] nu abe re /root .pe 


图 16-6 ”查看 密 钥 文件 md5 


admin HPAES passed 管理 负 守 码 Privatekey {{/j0s privileges UP 
el03dc3949 sbbe56e057f20f883e |8115082536d 017e0248bf3a8| rí 





图 16-7 ”数据 库存 储 的 密 钥 文件 md5 数 据 


管理 员 登 录 时 首先 获得 选择 密 钥 文件 的 md5， 再 与 
数据 库 T HüPrivatekey BOILTTDERD, 建议 由 超级 管 
理 员 提 前 开设 好 所 有 用 户 的 账号 信息 ， 包 括 用 户 
名 、 密 人 码 及 密 钥 。 再 统一 将 密 钥 文件 以 人 为 单位 进 
行 发 放 。 验 证 的 实现 方法 源码 如 下 : 








def Check (self, name, password, Privatekey) : 


import md5 


I 





m - md5.new (password) # 使 用 md5 模 块 计算 密 码 的 md5 卓 


md5pass=m.hexdigest () 





myrow-DBclass O # 创 建 数 据 库 连接 对 象 〈 自 定义 类 ) 








sql = "select admin, privileges from users where 
admin='%s' and 


passwd='%s' \ 


and Privatekey='%s'"% (name, md5pass, 
Privatekey) # 人 参照 MySQL 中 的 用 户 名 、 





# 密 码 、 密 钥 进行 校 验 


result = myrow.fetchallq (sql) 





return result # 返 回 结果 集 








下 面 是 计算 密 钥 文件 md5 的 实现 方法 ， 主 要 用 到 了 
hashlib 模 块 . 





# 计 算 文件 nd5 值 ， 参 数 fileName 为 实体 文件 路 径 ; 参数 exclLudeLine 为 排除 的 
文本 行 ; 


# 人 参数 IncLudeLine 为 额外 包含 的 行 


def md5 (fileName, excludeLine="", includeLine="") : 
m = hashlib.md5 () # 使 用 hash1ib 模 块 生 成 一 个 nd5 hash 对 象 
try: 
fd = open (fileName, "rb") # 打 开 密 钥 文 件 


except IOError: 


print "Unable to open the file in readmode: " 
filename 


return 


eachLine = fd.readline () 








while eachLine: # 遍 历 密 钥 文件 
if excludeLine and 
eachLine.startswith (excludeLine) : # 排 除 指定 的 行 
continue 
update (eachLine) # 用 update 方 法 对 行 字 符 串 进行 nd5 加 
os FLORIO CAE 





eachLine = fd.readline () 




















m.update (includeLine) # 对 额外 包含 的 行 做 更 新 和 加 密 处 理 


fd.close () 








return m.hexdigest () # 返 回 十 六 进 制 结果 





调用 计算 文件 密 钥 md5 方 法 : 





md5 (self.Privatekey.GetValue © ) 
#self.Privatekey.GetValue O 为 用 户 选 择 的 密 钥 文 件 路 径 





16.5.2 ”系统 配置 功能 


OManager 平 台 将 常用 的 参数 配置 化 ， 包 括 连 接 数 据 
E Efri Te SHE ih» 当 外 部 环境 发 生变 
化 时 无 须 做 代码 变更 ， 人 简单 更 新 配置 即 可 ， 提 高 了 
“EN a FA PE, "rS 有 基体 是 通过 
ConfigParser 模 块 操作 ini 文 件 实现 ， 效 果 见 图 16-8。 














seen 

ERRE 1024 
ERR 765 
=RRSHIP 192.168.1.20 
HORSO: 11511 


连接 主 挖 省 超时 (s) ; 10 
SEES MET 10 


(MENTE ctrnj#&amp:Bhrgow_*sj$et@Sfzsmh_o)-=(byt5jmg=e3#foyatu 
FHRURL http://update.domain.com/upgrade 
Iti 
masir 192.168.1.10 
DESA. servmanageruser 
RES ER : 123456#abe 
RAS: OManager 
| 更 新 配置 


图 16-8 “系统 配置 功能 


手工 修改 ini 文 件 与 界面 操作 达到 的 效果 是 一 样 的 ， 
平台 ini 文 件 格式 如 下 : 


[ data/config.ini ] 





[system] 

height - 765 
width = 1024 
version - v2014 
upversion - 10026 
ip = 192.168.1.20 
port = 11511 


timeout - 10 


max servers = 10 


secret key = ctmj#&amp; 8hrgow ^sj$ejtQ9fzsmh o) - 
= (byt5jmg=e3#foya6u 


upgrade_url = http: //update.domain.com/upgrade 
[db] 

db ip = 192.168.1.10 

db user - servmanageruser 

db pass = 123456#abc 


db name = OManager 





使 用 ConfigParser 模 块 操作 ini 配 置 文件 非常 方便 ， 
通过 get O ~ set O 方法 来 恋 取 与 更 新 配置 文 
件 。 读 配置 源码 如 下 : 








self.cf = ConfigParser.ConfigParser () # 创 建 ConfigParser 对 
象 


self.cf.read (sys.path[0]+'/data/config.ini', 
encoding-'utf8') # 读 取 配 置 文件 


# 读 取 “system” 节 中 所 有 和 键 值 到 指定 的 变量 


























self.cf = ConfigParser.ConfigParser () 
self.cf.read (sys.path[0]+'/data/config.ini') 
self. syswidth- self.cf.get ("system", "width") 
self. sysheight- self.cf.get ("system", "Height") 
self. timeout-self.cf.get ("system", "Timeout") 


self. ip-self.cf.get ("system", "IP") 


self. port-self.cf.get ("system", "Port") 

self. max servers-self.cf.get ("system", "max servers") 
self. secret key-zself.cf.get ("system", "secret key") 
self. sysversion- self.cf.get ("system", "Version") 
self. sysUpversion- self.cf.get ("system", "Upversion") 
self. upgrade url- self.cf.get ("system", "upgrade ur1") 
# 读 取 “db” 节 中 所 有 键 值 到 指定 的 变量 
self. db ip- self.cf.get ("db", "db_ip") 

















self. db user- self.cf.get ("db", "db user") 
self. db pass- self.cf.get ("db", "db pass") 


self. db name- self.cf.get ("db", "db name") 








更 新 配置 也 非 营 简单 ， 将 get O 方法 更 换 成 

set O ， 有 再 指定 ini 的 节 、 键 、 值 三 个 元 素 即 可 。 下 
面 是 更 新 数据 库 IP 参 数 的 代码 ， 其 中 
self.DB_ip.GetValue O 为 输入 框 的 内 容 。 





self.cf.set ("db", "db ip", self.DB_ip.GetValue () ) 





16.5.3 ”服务 器 分 类 模块 


为 了 让 OManager 更 具 通 用 性 ， 平 台 的 服务 器 信息 依 
赖 企业 现 有 资产 库 数 据 ， 通 过 平台 规范 好 的 格式 生 
成 XML 文件 ， 结 合 Tree 与 ListBox 探 件 实现 功能 分 类 
与 服务 需 联 动 ， 效 果 见 图 16-9。 
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图 16-9 ”服务 器 分 类 选择 


服务 器 分 类 的 组 织 形式 与 OMserver 保 持 一 致 ， 即 功 
能 分 类 一 业务 分 类 一 服务 器 。 图 16-10 为 服务 器 类 
别 的 XML 数据 文件 ， FIRTH ARS a ETN fa E o 


[ data/ServerOptioninfo.xml 】 


<?xml version="1.0" encoding="UTF-8"?> 
- <wml> 
- «AppClass id="1"> 
<appname> 应 用 服务 器 </appname> 
</AppClass> 
- <AppClass id="2"> 
<appname> 数据 库 服务 器 </appname> 
</AppClass> 
- <AppClass id="3"> 
<appname> HÆRS Z - /appname» 
</AppClass> 
+ <AppClass id="4"> 
+ <AppClass id="5"> 
+ <AppClass id="6"> 
- <AppClass id="7"> 
<appname> Mit RSH </appname> 
</AppClass> 
+ «AppClass id="8"> 
+ <AppClass id="9"> 
+ <AppClass id="10"> 
+ <AppClass id="11"> 
+ <AppClass id="12"> 
- <AppClass id="13"> 
<appname> 游戏 服务 器 </appname> 
</AppClass> 
</wml> 


图 16-10 ”服务 器 分 类 的 XML 文件 


其 中 , “<AppClass id="1">” 标 和 俭 id 属性 值 为 功能 分 
AIDS, “<appname> 应 用 服务 器 </appname>” 使 用 
<appname> 子 元 素描 述 功 能 分 类 名 称 。 服 务 器 信息 
的 XML 数据 文件 用 来 描述 服务 右 的 详细 属性 ， 详 细 
内 容 见 图 16-11， 属 性 与 子 元 素 说 明 见 表 16-2。 


【data/Serverinfo.xml】 (部 分 内 容 ) 





- <wmil> 
- «server ip="192.168.1.20"> 
«serverserial» SN2013-08-020 - /serverserial» 
<wip>218.31.20.20</wip> 
<lip>192.168.1.20</lip> 
<os>Linux</os> 
<app>www.domain.com</app> 
<locate>05-02-10</locate> 
<option>1</option> 
</server> 
- <server ip="192.168.1.21"> 
<serverserial > SN2013-08-021 </serverserial> 
<wip>218.31.20.21</wip> 
<lip>192.168.1.21</lip> 
<os>Linux</os> 
<app>www.domain.com</app> 
<locate>05-05-01</locate> 
<option>1</option> 
</server> 


图 16-11 服务 器 信息 的 XML 文 件 
表 16-2 属性 与 子 元 素 说 明 





























MESTER C] x 
ip IP 地 址 CE— Prio. PPM IP By a] 
sen er serial | i 机 各 Mm——— 
wip 外 网 IP 3& hl 
lip | 内 网 IP ‘i hl 
| 。 操作 系统 类 别 
app I Hes. 一般 为 应 用 域名 
locate | 。 服务 器 所 处 机 时 仪 轩 
option | REE ID. SIEA PRT ES XML 文件 中 AppClass 标签 的 id 属性 关联 


每 个 管理 员 所 负责 的 服务 器 资源 通 第 都 不 一 样 ， 一 
般 以 服务 器 功能 分 类 的 维度 划分 。OManager 可 为 这 
种 权限 要 求 提 供 支 持 ， 实 现 的 思路 是 在 users 表 的 

privileges 《权限 角色 〉 字段 定义 服务 器 分 类 ID， 其 





中 “root” 为 特殊 权限 ， 代 表 超 级 管理 员 ， 所 有 服务 
器 资源 都 可 见 。 账 号 “demo” 的 权限 配置 ， 以 及 在 平 
台中 展示 的 效果 见 图 16-12。 


admin i962 passwd T3903 Privatekey iLife privileges 权限 角色 
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图 16-12 用户 权 限 配 置 及 展示 效果 


当 窗 体 Cwx.Frame) 初始 化 时 , “服务 器 类 别 ”* 控 件 
会 目 动 加 载 数 据 ， 实 现 的 方法 是 通过 过 历 以 上 提 到 
的 两 个 XML 数据 ， 将 当前 账号 的 权限 ID 列表 与 服务 
妖 类 别 ID 进 行 关联 ， 获 取 所 具备 的 权限 ， 即 拥有 的 
服务 器 类 别 ID。“ 应 用 名 称 ” 则 通过 服务 器 信息 

的 “<option>” 元 素 与 服务 器 类 别 ID 进 行 史 配 ， 实 现 

源码 如 下 : 








import xml.etree.ElementTree as ET 
import os 
import sys 


root tree - 
ET.parse (sys.path[0]+'/data/ServerOptioninfo.xml') # 打 开 服 务 


器 类 别 XML 文 档 


class tree = 


ET.parse (sys.path[0]*'/data/Serverinfo.xml') # 打 开 服 务 器 
信息 XML 文档 

root doc = root tree.getroot () # 获 得 服务 器 类 别 XML 文 档 root 节 
点 





class doc = class tree.getroot © # 获 得 服务 器 信息 XML 文档 root 节 
E 


class ServerClassList () : 


def Resurn list (self, UserPrivileges) : # 返 回 服务 器 类 
别 、 应 用 方法 


ServerList KEY-[] # 定 义 返回 的 服务 器 类 别 、 应 用 信息 列表 对 














象 
serverclass-[] # 定 义 服务 器 类 别 列表 对 象 
serverapp-[] # 定 义 业 务 应 用 列表 对 象 
for root child in root doc: # 遍 历 服务 器 类 别 节点 
if not root child.get ('id') in UserPrivileges 
and not 


UserPrivileges[0]=="root": 


continue # 没 有 权限 的 服务 器 类 别 将 被 忽略 





serverclass.append (root child[0].text.encode ('gbk') ) # 追 加 
服务 器 类 
# 别 名 称 <appname> 

serverapp-[] 


for class child in class. doc: Am 3 HE AS ala A 














# 如 与 功能 分 类 ID 相 匹 配 ， 则 追加 <app> 到 serverapp 











# 通 过 ijndex() 方法 产生 的 异常 判断 当前 <app> 是 否 已 经 存 


在 于 serverapp 中 


if 
class child[6].text--root child.get ('id'): 


try: 


serverapp.index (class child[4].text.encode ('gbk') ) 


except: 


serverapp.append (class child[4].text.encode ('gbk') ) 
serverclass.append (serverapp) 
ServerList KEY.append (serverclass) 
serverclass-[] 


# 返 回 结果 串 格式 : DNA SR. ['www.a.com', 'www.b.com']], [X 
据 库 服务 器 '，[ 'www.c.com']]...] 





return ServerList KEY 





16.5.4 系统 升级 功能 


相 比 B/S 结构 程序 ，C/S 结 构 的 男 一 缺点 是 不 方便 升 
级 ， 部 分 软件 甚至 要 求 重 新 安装 、 重 月 计算 机 等 操 
作 。 为 了 解决 此 问题 ，OManager 在 系统 升级 方面 结 
合 了 B/S 的 模式 ， 将 升级 包 放 在 远 端 ， 由 管理 员 触 
发 升级 操作 ， 同 时 不 影响 当前 的 其 他 操作 ， 重 局 
OManager 程 序 后 即 可 完成 升级 。OManager 系 统 升 
级 流程 图 见 图 16-13。 
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图 16-13 “系统 升级 流程 图 


OManager 系 统 升 级 的 原理 : 首先 将 升级 描述 文件 

CupdateMS.xml) 、 升 级 包 上 传 至 版 本 服务 器 ， 由 
管理 员 触 上 友 升 级 操作 ， 再 通过 urllib 模 块 实现 HITP 
方式 下 载 updateMS.xml 文 件 并 进行 分 析 ， 获 取 所 有 
需要 升级 的 程序 包 ， 包 括 远程 URL 及 下 载 本 地 存储 
地 址 ， 最 后 过 有 历 下 载 所 有 升级 包 到 指定 的 位 置 ， 完 
成 整个 升级 过 程 。 下 面 是 升级 描述 文件 
updateMS.xml 的 示例 : 





[tmp/updateMS.xml] 





«? xml version="1.0" encoding="UTF-8"? > 


<wml> 
<AppClass id="1"> 
«localsrc»data/Serverinfo.xml«/localsrc» 


«remotesrc»/data/Serverinfo.xml«/remotesrc» 


</AppClass> 


«AppClass id="2"> 
<localsrc>data/ServerOptioninfo.xml</localsrc> 
<remotesrc>/data/ServerOptioninfo. xml</remotesrc> 

</AppClass> 

«AppClass id="3"> 
<localsrc>OManager .10026.exe</localsrc> 
<remotesrc>/OManager .exe</remotesrc> 

</AppClass> 


«/wml» 





在 此 XML 文件 中 ，localsrc 与 remotesrc 分 别 表 示 本 地 
存储 地 址 及 远程 URL 路 径 ， 远 程 UREL 文 件 与 本 地 路 

径 建 议 保持 一 致 ， 可 以 提高 系统 的 可 维护 性 ， 如 本 

地 有 的 “data/Serverinfo.xml” 与 远程 

的 “/data/Serverinfo.xml”， 远 程 升 级 包 日 录 结 构 见 图 

16-14. 


F—Serverinfo.xml 


|  t—ServerOptioninfo.xml 
l-—OManager . exe 
L—updateMS . xml 





图 16-14 ”远程 升级 包 存 储 路 径 
在 此 配置 中 ， 需 要 升级 的 程序 包 为 OManager.exe、 


Serverinfo.xml、ServerOptioninfo.xml 三 个 ， 变 更 项 
包括 了 添加 主机 信息 、 主 程序 优化 等 ， 下 面 介 绍 升 


级 步 又。 


1) 上 传 升级 相关 文件 到 版 本 服务 器 指定 位 置 ， 具 
体 见 图 16-14。 


2) 更 新 数据 库 中 平台 最 新 版 本 写 ， 即 更 新 upgrade 
表 的 version 字 段 ， 如 更 新 版 本 号 为 "10026”;， FAP 
会 根据 data/config.ini 中 的 upversion 键 值 与 最 新 版 本 
号 进行 匹配 ， 当 小 于 最 新 版 本 号 时 将 触发 升级 。 

3) 点 击 “ 系 统 升 级 ”工具 栏 图 标 进 行 升 级 ， 升 级 成 
功 后 如 图 16-15 所 示 。 


升级 结束 后 ， 平 台 根 目录 下 多 了 一 
个 “OManager.10026.exe” 最 新 版 本 的 程序 包 ， 见 图 
16-16。 











运行 “OManager.10026.exe”， 在 主 程序 左 侧 的 服务 
器 列表 框 中 多 了 一 台 “218.31.20.11” 主 机 ， 见 图 16- 
17。 再 查看 data/config.ini 中 的 upversion 键 值 ， 已 经 
改 为 “10026”， 说 明 系 统 已 成 功 升级 。 
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图 16-15 “系统 升级 成 功 


© MD5sum.exe 2013/7/21 21:07 
(Œ| OManager.10026.exe 2014/7/12 12:26 | 
m| OManager.exe 2014/7/12 12:20 


急 msvcm90.dll 2013/8/4 15:37 


| msvcp90.dll 2013/8/4 15:37 
| msvcr90.dll 2013/8/4 15:37 
‘| python27.dll 2012/4/10 23:31 
| wxbase30u net vc90.dll 2013/12/28 2:21 


%| wxbase30u  vc90.dll 2013/12/28 2:21 


图 16-16 ”升级 后 的 文件 列表 








FFERI Bx 欢迎 窗口 





B 选择 类 别 Rm 
由 -出 应 用 服务 器 | 
jB 数据 库 服 务 器 

-| | bbs.domain.com 


|) 日 去 服务 器 =| 








图 16-17 更 新 后 的 主机 列表 


介绍 完 系 统 升级 的 操作 过 程 ， 下 和 面 介绍 OManager 实 
现 升级 功能 的 源码 分 析 ， 使 用 模块 

urllib.urlopen Curl) .read〈) 方法 实现 HTTP 协 议 文 
件 下 载 ， 使 用 xml.etree.ElementTree 模 块 实现 XML 


文件 的 分 析 。 





def load data (self, event) : # 系 统 升级 方法 
try: 
if self.button.GetLabel () ==u" 关 闭 ": 
self.Destroy © 


url-self.updateURL-*"/updateMS. xml" # 指 定 升 级 描 
述 文件 远程 及 本 地 路 径 


localfile-sys.path[0]-*'/tmp/updateMS. xml ' 


if not self.download (url, localfile) : # 下 载 升 











级 描述 文件 





return 


except Exception, e: 





wx.MessageBox (u" 更 新 描述 文件 下 载 失 败 "+str (e), 
u"OManager: ", style=wx. 














OK |wx. ICON ERROR2 
self.Destroy ©) 


return 





try: # 打 开 升 级 描述 文件 ， 为 下 面 的 分 析 做 好 准备 














import xml.etree.ElementTree as ET 


update tree - 
ET.parse (sys.path[0]-*'/tmp/updateMS. xml ' ) 


up doc = update tree.getroot () 
except Exception. e: 


wx.MessageBox (u" SEA GH draht". u"oManager: ", 
style-wx.OK|wx.ICON ERROR) 


self.Destroy © 


return 
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try: 
本 地 路 径 ， 调 用 





#download () 方法 实现 下 载 
upgrade count-o 
for cur child in up doc: 
upgrade count-4-1 


url-self.updateURL-*cur child[1].text 


localfile=sys.path[0]+'/'+cur_child[0].text 
if self.download (url, localfile) ==False: 
break 
self.cf.set ("system", "Upversion", 
self.lastversion) # 更 新 config.ini 


# 最 新 版 本 号 


self.cf.write (open (sys.path[0]+'/data/config.ini',  "w") ) 


self.ConnStaticText.SetLabel (u'"JAX JÆ 
新 "+str Cupgrade count) +" 个 数据 包 ,,.") 


self.button.SetLabel (u" 关 闭 ") 
except Exception, e: 


wx.MessageBox Cu" Ra CF PX", "oManager", 
style-wx.OK|wx.ICON ERROR) 


self.Destroy © 
return 

finally: 
pass 


event.Skip © 





16.5.5 客户 端 模 块 编写 


OManager 提 供 客户 端 模块 开发 文 持 ， 与 OMserver 
的 实现 思想 一 样 ， 区 别 是 OMserver 基 于 HTML 表 单 
来 定义 ， 而 OManager 基 于 XRC。XRC (XML 
Resource) 的 设计 来 源 于 wxWidgets， 原 理 是 将 界面 








设计 的 工作 从 程序 中 独立 出 来 ， 类 似 于 Django 开 发 
框架 中 模板 系统 的 角色 ， 目 的 是 将 业务 丈 辑 与 界面 
进行 分 离 ， 好 处 是 代码 的 结构 会 更 加 清晰 ， 可 读 性 
也 会 大 大 提高 。 其 体 做 法 是 通过 XML 格 式 定 义 系 统 
界面 ， 当 程序 运行 时 再 载 入 。XRC 的 使 用 手册 见 
http://wiki.wxwidgets.org/Using XML Resources witl 
OManager 平 台 将 功能 模块 采用 XRC 设 计 ， 在 主 程 
序 中 按 功 能 分 类 导入 ， 效 末 见 图 16-18 和 图 16-19。 








图 16-18 ”功能 模块 菜单 


OManager 平 台 提供 了 最 多 2 个 控件 参数 的 定义 ， 控 
件 类 别 支 持 wxSpinCtrl (微调 控制 嚣 ) 、 
wxListBox (列表 控件 ) 、wxTextCtrl (文本 输入 控 
TE) 和 等， 当然， 扩展 更 多 的 控件 类 型 也 非常 简 早 ， 
前 提 是 需要 了 解 各 控件 的 属性 及 方法 ， 其 中 控件 值 
会 被 当成 模块 参数 通过 rpyc 传 输 到 服务 器 端 。 下 面 
为 “bas 1001 系统 日 志 .xrc” 功 能 模块 的 设计 ， 包 括 
一 个 容量 控件 wxPanel 对 象 ，wxPanel 对 象 包含 了 两 
个 对 象 ， 一 个 文字 标签 控件 wxStaticText 对 象 ， 通 








过 <label> 元 素 定 义 该 模块 的 功能 文字 说 明 ; 另 一 个 
对 象 为 微调 控制 器 wxSpinCtrl， 通 过 <value> 元 素 定 
义 默 认 值 ，<min> 与 <max> 定 义 控件 的 最 小 值 及 最 
大 值 。 更 多 的 控件 介绍 请 参考 : 
http://wiki.wxwidgets.org/Using XML. Resources witl 
该 功能 模块 的 XRC 定 义 内 容 如 下 : 
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图 16-19 ”功能 模块 窗口 
[Module/bas 1001 系统 日 志 .xrc】 





<? xml version="1.0" encoding="utf-8"? > 


<resource> 


«object class="wxPanel" name="panel"> 
<size>200, 100</size> 


<object class="wxStaticText" name="labeli"> 

















«label»ZJBETHXA: 显示 服务 器 Message 最 新 选择 条 数 





的 记录 。</label> 
<pos>30, 20</pos> 
</object> 


«object class="wxSpinctr1" 
name="Parameter1_object_id"> 


<style>wxSP_ARROW_KEYS</style> 
<value>30</value> 
<min>1</min> 
<max>100</max> 
<pos>30, 50</pos> 
</object> 
</object> 


</resource> 





在 主 程序 中 ， 通 过 xrc.XmlResource O 方法 加 载 
XRC 模 块 文件 ， 使 用 xrc.XRCCTRL O 方法 获取 控 
件 对 象 ， 使 用 对 象 的 GetValue 〈) 或 
GetStringSelection () 方法 得 到 控件 输入 值 ， 其 中 
wxSpinCtrl、wxTextCtl 控 件 使 用 GetValue O 7; 
法 ，wxListBox 控 件 使 用 GetStringSelection © 77 
法 。 在 主 程序 中 调用 XRC 的 方法 ， 源 人 码 〈( 部 分 ) 如 





PB: 


from wx import xrc 


self.res = xrc.XmlResource (sys.path[0]-*'/Module/bas 1001 系 
ZH .xrc') 


# 加 载 模块 资源 文件 

panel = self.res.LoadPanel (self, "panel") # 加 载 pane1 面 板 
控件 

try: 


self.Parameter1 = xrc.XRCCTRL (panel, 
'Parameteri object id'O  # 加 载 控件 1 对 象 名 


except Exception, e: 


pass 





# 获 取 不 同 控件 的 返回 值 ，GetCLassName O 方法 返回 控件 类 别名 ， 用 于 定位 不 
同 控件 获取 value 的 方法 








try: 
if self.Parameter1.GetClassName () =="wxSpinCtr1": 
self.Parameter1 value-self.Parameteri.GetValue () 
elif self.Parameter1.GetClassName () -z'"wxListBox'": 


self.Parameteri value-self.Parameteri1.GetStringSelection ©) 
except Exception, e: 


pass 





平台 功能 模块 XRC 文 件 命名 遵循 一 定 的 标准 规 


c 


, 


即 “模块 功能 类 别 模块 ID _ 功能 中 文 名 称 .xrc”， 文 
件 名 将 会 以 ”2?” 作 为 分 隔 符 ， 拆 分 的 数据 将 应 用 到 
系统 功能 中 ， 比 如 文件 名 前 缀 “模块 功能 类 别 * 会 根 
据 不 同类 别 代 号 加 载 到 不 同 功能 来 单 ， 实 现 源码 

(部 分 ) 如 下 : 























bashmenu = wx.Menu () # 定 义 " 基 本 功能 "二 级 菜单 
appmenu = wx.Menu () # 定 义 "应 用 功能 "二 级 菜单 
dbmenu = wx.Menu © # 定 义 "数据 库 功 能 "二 级 荣 单 
servicemenu = wx.Menu () # 定 义 "后 台 服 务 功 能 "二 级 荣 单 
middlemenu = wx.Menu () # 定 义 " 中 间 件 功能 "二 级 荣 单 





# 根 据 不 同 XRC 文 件 前 缀 ， 将 三 级 荣 单 追加 到 对 应 的 二 级 菜单 中 
for file info in self.Moduledetail: 
file array-string.split (file info. '_') 
if file info[0: 3]=="bas": 


bashmenu.Append (int (file array[1])5 , file_array[2], 
file array[2]) 


elif file info[O0: 3]=="app": 


appmenu.Append (int (file array[1]) , file array[2]; 
file array[2]) 


elif file info[O0: 3]=="dba": 


dbmenu.Append (int (file array[1])5 , file array[2]. 
file array[2]) 


elif file info[0: 3]--'ser': 


servicemenu.Append (int (file array[1]) ， 
file array[2]. file array[2] 


elif file info[0: 3]=="mid": 


middlemenu.Append (int (file array[1]) ， 
file array[2]. file array[2]) 





文件 “模块 ID” 段 将 作为 该 模块 的 唯一 标识 ， 与 服务 
器 病 模 块 进行 风 配 。 男 外 ， 要 求 模 块 XRC 文 件 必须 
存放 于 平台 Module 目 录 。 以 下 为 客户 端的 所 有 模块 
清早， 其 中 ID 为 “100*” 的 模块 ， 服 务 右 病 已 完成 对 
接 ， 其 他 部 分 读者 可 以 根据 自身 的 需求 自行 开发 或 
扩展 ， 平 台 功 能 模块 XRC 文 件 列表 见 图 16-20。 


[zx 修改 日 期 类 型 六 小 








|_] app. 1005 同步 应 用 文件 .xrc 2014/7/2 6:59 XRC xt 1 KB 
| app_1006 Sir: cB xrc 2014/7/2 23:47 XRC 文件 1 KB 
|_| app.3200 YUM2X.xrc 2013/7/20 18:30 XRC we 1 KB 


|_| app. 3201 SHE xrc 2013/7/20 18:30 XRC 文件 1 KB 
|] bas 1001 系统 日 志 .xrc 2013/7/20 18:30 XRC 文件 1 KB 
bas 1002 最 新 登录 .xrc 2013/7/20 18:30 XRC 文件 1 KB 
|_] bas_1003 系统 版 本 .xrc 2013/7/20 18:30 XRC 文件 
bas 1004 和 内核 模块 .xrc 2014/7/3 19:10 XRC 文件 


.| bas_1007 重启 进程 服务 .xrc 2014/7/2 23:47 XRC 文件 1 KB 
| | bas 3100 3J RRS 88 .xrc 2013/7/20 18:30 XRC 文件 1 KB 


| bas.3105_2507 0) xrc 2013/7/20 18:30 XRC 文件 1 KB 
| | bas 3106 系统 用 户 .xrc 2013/7/20 18:30 XRC 文件 1 KB 
| | bas. 3107 系统 组 .xrc 2013/7/20 18:30 XRC 文件 1 KB 
|_] bas, 3109 计划 任务 .xrc 2013/7/20 18:30 XRC 文件 1 KB 
|. | bas 3110 活动 用 户 .xrc 2013/7/20 18:30 XRC 文件 1 KB 
dba 3300 更 新 配置 ,xrc 2013/7/20 18:3¢ XRC 文件 1 KB 
dba 3302 重启 MySQLxrc 2013/7/20 18:30 XRC 文件 1 KB 
| | dba 3303 锁 进 程 .xrc 2013/7/20 18:30 XRC 文件 1 KB 
|. | dba. 3304 39i 5) xrc 2013/7/20 18:30 XRC xi 1 KB 
dba 3305 检查 备份 .xrc 2013/7/20 18:30 XRC xit 1 KB 

| mid 3500 消 明 服务 .xrc 2014/6/29 22:23 XRC xri 1 KB 








| ser_3400 后 台 分 析 检 查 .xrc 2014/6/29 22:23 XRC 文件 
s 








图 16-20 ”功能 模块 XRC 文 件 列表 
16.5.6 ”执行 功能 模块 
由 于 OManager 只 有 两 层 结构 ， 与 服务 器 端的 通信 和 就 
是 一 个 交互 过 程 ， 由 客户 端 发 起 任务 请 求 ， 服 务 器 
执行 任务 并 返回 操作 结果 ， 操 作 步 又 见 图 16-21。 


GS O YY > Ooo 
IE 
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图 16-21 功能 模块 执行 步骤 


为 提高 平台 的 通用 性 及 兼容 度 ，OManager 的 数据 封 
TRE. Pes. I TT SUI AS SR tis 53 OMserver— $t , 
即 传输 采用 了 rpyc 框 架 、RC4 加 密 算法 、 服 务 器 端 
同一 监 昕 服务 。 服 务 器 端的 实现 本 节 不 再 做 介绍 ， 


基体 可 参考 13.5.3 和 人。 下 面 介 绍 基于 wxPython 实 现 
的 客户 端 提交 任务 的 几 个 方法 。 








try: 





conn-rpyc.connect (self. ip. int (self. port) ) # 连 接 
rpyc 服 务 器 





# 调 用 login〈) 方法 实现 通信 账号 、 密 码 校 验 


conn.root.login ('OMuser', 'KJS2304ij09gHF734iuhsdfhkGYSihoiwhj: 
except Exception, e: 


message=u" 系 统 提示 : 连接 远程 服务 器 超时 。"+str (e) 























wx.MessageBox (message，u"0Manager 服 务 器 管理 平台 :"， 
style-wx.OK|wx.ICON ERROR) 








return 








# 调 用 OnGetSelectServerinfo 方 法 获取 计算 机 名 、 字 符 串 、 服 务 器 数量 





_server_list=self.OnGetSelectServerinfo ('serverserial ip '， 
1, int (self. max servers) ) 


# 判 断 用 户 是 否 选择 了 至 少 一 台 服 务 器 ， 不 选择 则 直接 返回 
if not server list: 


return 





# 操 作 记 录 调 用 了 Addsyslogs() 方法 写 入 user_1ogs 表 ， 用 于 操作 记录 追溯 
Intologs.Addsyslogs (self.CurrentAdmin，u" 操 作对 象 : "+N 


self.OnGetSelectServerinfo ('lip', 1, 20) +u" -操作 
MID: "+GetModelestrrow[0]) 





# 合 并 提交 串 ， 格 式 : “模块 TD@@ 主 机 IP* 主 机 名 ，N@@ 参 数 1@@ 参 数 2@@” 





— 


列 如 : “1001@@192.168.1.21*SN2013-08-021@@30@@” 


put_stringt=str (GetModelestrrow[0]) 
-"QQ"- server list-"QQ"-Parameter string 








# 调 用 tencode O 方法 对 提交 串 进行 加 密 


put string-FunApp.tencode (put string. self. secret key) 








4 # 调 用 rpyc 的 Runcommands O 方法 执行 任务 ， 返 回 的 结果 通过 tdecode O 
方法 解密 0Presult= 

FunApp.tdecode (conn.root.Runcommands (put string) ， 

self. secret key) .decode ('utf8') 


# 在 “输出 消息 ” 框 输出 返回 结果 











self.OnwriteMessageBox (FunApp.format str (OPresult) ) 


conn.close () 





Fifi 79568; E YAS EES HA TB R7 1A. EH 
SetInsertionPoint (0) 获取 消息 插入 点 ， 通 过 
WriteText O FES AVE, REW F: 


n] 





def OnWriteMessageBox (self, message) : 


t = time.localtime (time.time () ) 





st = time.strftime ("%Y-%m-%d 96H: 96M: 96S", t) # 获 取 当 
前 系统 时 间 

self.SysMessaegText.SetInsertionPoint (0) # 设 置 消息 框 
插入 点 ， 参 数 0 为 开始 位 置 





# 将 方法 参数 message (消息 内 容 ) 写 入 消息 框 


self.SysMessaegText.WriteText ("++++++++++++"+Str (st) 
+"++++++++++++++++\n"+message+"\n") 


self.SysMessaegText.SetInsertionPoint (0) 





执行 任务 返回 的 结果 见 图 16-22。 另 外 OManager 的 


窗 体 元 素 文 持 任 意 角 度 的 组 合 、 分 离 、 拖 动 等 ， 管 
理 员 可 以 根据 不 同 喜好 进行 调整 


16.5.7 平台 程序 发 布 


为 了 让 平台 在 没有 Python 以 及 第 三 方 模 块 包 的 环境 

中 正常 运 z 行 ， 对 源 程序 进行 打包 发 布 是 项 目 最 后 一 
MB, xm 

pyinstaller (http://www.pyinstaller.org) 提供 了 很 好 

的 解决 方案 ， 其 文 持 Linux 与 Windows 平 台 可 执行 程 
序 的 制作 ， 简 单 易 用 。Pyinstaller 2.0 无 须 安装 ， 解 

压 即 可 使 用 ， 下 面 为 平台 打包 的 bat 批 处 理 脚本 。 





"ww 


OManagerik as Bit 





图 16-22 ”功能 模块 执行 结 
【install.bat 】 





cd D: \python\OManager \OManager 
d: 

rd /S /Q dist 

rd /S /Q build 

del logdict2.7.3.final.0-1.log 


python d: /soft/pyinstaller-2.0/pyinstaller.py --onedir -w -- 
icon-img/imac.ico OManager.py 


copy MD5sum.exe dist\OManager 

xcopy /s data dist\OManager\data\ 

xcopy /s img dist\OManager\img\ 

xcopy /s Module dist\OManager\Module\ 
xcopy /s numbers dist\OManager\numbers\ 
xcopy /s tmp dist\OManager\tmp\ 

rd /S /Q build 

rd /S /Q build 


del logdict2.7.3.final.0-1.log 








假设 项 目 目录 为 *“D:\python\OManagerOManager”， 
参数 “--onedir” 为 创建 的 一 个 目录 ， 包 含 exe 文 件 以 
及 相关 依赖 类 包 ; “-w” 表 示 制 作 视 窗 界 面 ， 无 控制 
E CME T) ; “--icon2 指 定 执 行程 序 图 


标 ; “OManager.py” 为 平台 入 口 源 程序 。 通 过 xcopy 
复制 平台 相关 目录 到 打包 路 径 〈 如 
dist\OManager) 。 打 包 后 的 目录 结构 见 图 16-23。 


4k indude 

J img 

d data 

(| wxmsw30u xrc vc90.dll 
S] wxmsw30u, html vc90.dll 
(&| wxmsw30u core, vc90.dll 
3) wxmsws30u aui vcS0.dll 
S| wxmsw30u adv vc90.dll 
久 wxbase30u xml vc90.dll 
| wxbase30u vc90.dll 

‘| wxbase30u net vc90.dll 
(&| python27.dll 

(&| msvcr90 dll 

(&| msvcp90.dll 


| msvcm90.dll 


m| OManager.exe 
©? MD5sum.exe 





| | wx xrc.pyd 


图 16-23 ”打包 后 生成 的 文件 列表 


最 后 一 步 殉 是 制作 安装 包 ， 我 们 可 以 简单 对 目录 制 
作 压 缩 包 有 发布， 也 可 以 使 用 更 加 专业 的 安装 包 制 作 
工具 ， 如 Advanced Installer. Inno Setup. Smart 
Install Maker 等 ， 最 终 将 生成 一 个 安装 包 文 

件 *“Setup.exe”， 单 击 安装 后 的 效果 见 图 16-24。 


次 迎 使 用 DOManager 服 务 器 管理 平台 安装 程序 





图 16-24 ”系统 安装 界面 


参考 提示 RC4 加 密 算 法 参考 文章 


http://www.snip2code.com/Snippet/27937/Blockout- 
encryption-decryption-methods-p. 
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